杨广益憎世民，乃至于驳孝恭公主杨淑仪之请，不与世民任何恩赐。又道：“既然济世安民，自当抱了不畏捐躯之念，如果给了恩赐，难道污了这济世安民之名？”
大业十三年仲春，马邑校尉刘武周占汾阳宫举兵造反，上怒令唐国公剿之，然暗里却另派云定兴监督李渊，且暗下伏手，只待李渊灭了刘武周，便借其不听调遣之名，屠尽李氏一族。
后述公死，上感宇文明及昔日情分，赦其兄弟二人罪，更加赐化及右屯卫将军，智及将作少监，宠嬖更盛。唐国公高低皆知此乃杨广疑惧唐国公府之故。日渐不满。
统统安妥以后，世民泣别父兄弟妹，只将手中孝拂（就是拂尘，阿谁时候女性职位颇不低，以是窦夫人身后，需求由儿子们亲技艺执拂尘，经常将其灵前路面浮尘扫净。这叫孝拂往活路，慈入极乐门。一样，之以是李渊能够借窦夫人之死而雄师停下，启事也是因为她的家世不凡，论起来，是北周武帝的外孙女，也称得上是杨广的长辈。当时长辈女性如果身份高贵，出身世家，夫君又身为军将，那么在这个贵夫人灭亡以后，夫君便能够行孝之命，申请止战的。更不消说窦夫人如许的王亲国戚。）交与一样哀戚之爱妻。
再者大伯建成身为宗子，新孝嫡哀在身，更不成以此犯上之忌，使我唐国公府担上大不敬之名。
杨广见疏大怒，令将宇文兄弟擒之，囚数月，后归京师后，命令当斩。宇文明及知机，立于天牢当中传令亲仆，以其于周灭之时，搜得私藏之异宝玉龙子韘（就是扳指。不过这里的玉龙扳子，并非全部就是玉的。而是近似现在的戒指，以象牙或者是犀牛角之类贵重耐磨的东西做了指环，上面镶嵌了一条雕工精彩的玉龙做装潢罢了。）、金凤明冠（一顶全部都是由金子打造的冠冕，上面活矫捷现地雕了五色凤凰，并以宝石表现凤凰五色之美。凤凰的嘴里，又都各叨了一颗好大的明珠，能够说是当时的国宝了），赠与弟宇文士及与其妇南阳公主。公主进言与帝，保得其命。然活罪不成赦，遂革去统统名号，赐与其父宇文述为奴。
动静传至国公府，唐国公李渊与宗子既念世民之德，更忧此事必为国公府带来大祸。
长孙无忌亦在一旁，阅之大怒，当下便书传长孙一族，言“昏君无道，竟直欲屠尽功臣，掳掠臣妻，天道不容，当诛之。”
因而宇文明及与唐国公府之怨，日深。
大业十二年（公元616年），杨广以晋阳无守之由，着唐国公李渊往晋阳，任留守一职。旨中特令世民随行，世民妻长孙无忧、妻舅长孙无忌暗患此为杨广陷谋，执意跟随至晋阳。宗子建成受父命，携唐国公府高低居于河东，暗害起事诸项。
大业九年蒲月初，唐国公夫人窦氏去世，李家军感其生前慈德，自请着素，以慰其灵。上闻之，不喜。
大业十一年（公元615年），杨广再巡北长城，受始毕可汗之围。时云定兴急召时任副将之唐国公次子世民设想得救。世民遂献计，请始毕可汗之妻，义成公主为上解此围。云定兴采取此计，命世民前去，然世民经大业九年雁门关一战，已然名昭天下，不得成行。
上亦日渐疑惧唐国公府。
多番慰勉爱妻无忧后，时年十七岁的李世民决然点了三百同着素色盔甲的李家军将，祭了存亡酒（就是在兵戈时，如果明知此行伤害，就喝存亡酒，以示不管存亡，心皆无憾之意），与大舅子长孙无忌一起，随云定兴直奔辽东，救援上驾。
蒲月中，上征辽东，被困，李渊急命宗子建成与帐下云定兴救之。
唐国公府均感难保分身，然终不得不尽忠。