杨勇的亲生母亲是独孤伽罗皇后，当时独孤伽罗厌恶杨勇就不断的和隋文帝说杨勇的坏话，隋文帝就越来越不重视杨勇最后还废了杨勇太子之位，不过说起来杨勇也是自己作死，杨勇明明知道自己母后不喜欢三心二意的人还偏偏三妻四妾，再来看看杨广这边没胜利之前完全就是一个忠心于结发妻子的痴情郎，当然后来都知道杨广是装的，但是他在当时的确是受到了独孤伽罗的重视。
一、独孤伽罗
独孤伽罗算是历史上比较有名的皇后了，而且独孤伽罗除了管理后宫其它做的都很好是一个明后，但是独孤伽罗的占有欲却是格外的强，导致隋文帝虽有后宫却过的一夫一妻的生活，甚至有个笑话说隋文帝年轻的时候看上了一女子便带回后宫不过因为惧内一直没有临幸，随后几十年的时间过去独孤皇后身死隋文帝才满足了愿望。
二、杨勇妻死
所以在独孤伽罗眼里男人只能有一个妻子，就是因为这样的性格独孤伽罗甚至会因为一个官员三妻四妾就戴上有色眼镜，更别提杨勇是独孤伽罗的亲儿子了，杨勇不但三妻四妾后来还传出来了勾结小妾害死发妻的传闻，于是杨勇在独孤伽罗那里就已经上了黑名单了。
三、杨勇被废
然后就是独孤伽罗想废了杨勇这一个太子，可是以高颎为首的大臣以?长幼有序?不断反对独孤伽罗，正好当时高颎的妻子死了独孤伽罗就让隋文帝给高颎再找一个，高颎以和发妻感情深为理由拒绝了，独孤伽罗当时还很感动，但是没几天高颎的小妾就有了身孕，这就让独孤伽罗更加厌恶高颎了，于是独孤伽罗后来让隋文帝废了高颎，杨勇没了高颎这些大臣的支持很快就被废了。