而这边，杨勇又喝的醉醺醺的，趁他醉意昏黄，杨素用心激愤杨勇，杨勇此人没心眼，便一股脑说出很多抱怨天子的话，并大喊：“有甚么了不起了，哼！等我做了天子，看那些不怀美意的人本事我何！”好巧不巧，文帝把这话听得逼真，又看到杨勇不但不思己过，另有诸多抱怨，更甚者，是公开表示对皇位的觊觎之心，这下怕是回天乏术了。文帝一怒之下便公布了废黜太子杨勇的圣旨，将其贬为百姓。此事也怨不得别人，总的说来，只因文帝与独孤皇后生性俭仆，而这杨勇却糊口奢糜，为人又太直，不会讨得文帝高兴，而他对天子大不敬之谈吐又真逼真切传到天子耳中，更是成了被废黜的导火索。可这方面杨广但是尽得民气，那在文帝眼里，就是糊口简朴、为人诚心、善待部属、做事沉稳、也不失魄力，总之，尽是长处，是越看越对劲。终究，在独孤皇后的帮衬下，于公元600年，改立杨广为太子。
开皇十年，南陈腐地的一些处所发作大范围的兵变，杨广被任命为江南的总管，驻营江都，安定兵变。在任十年，杜林与其一同南下，因念及皇甫长德家事已成，便未一同前去，而是留与京师。固然皇甫长德人未去，但倒是杨广最好的的智囊，十年间，出运营策不在少数。为其和缓南边的痛恨和思疑，在军事占据后推行公道的行政提出很多良策，因为三人十年来的尽力，胜利地突破停滞南人成为忠于隋室臣民的很多政治和文明隔阂。此又为大功一件了，特别是杜林，十年间为了更好的帮手杨广，都没来得及结婚，眼看快到而立之年了，但皇天不负故意人，在完成任务班师回朝的头一年，他终究完成人生第二大事――娶妻了。此女为江南一手工坊女子，生性和顺，名为素儿。