李渊惊骇宋须生守城不出，打成耐久战对本身倒霉。李世民却以为能够应战引他出来决斗。因而李渊让两个儿子领几十名马队进城察看，本身将军队分红十几队，从城东南到西南，摆出一副安营攻城的架式。宋须生公然入彀，觉得李渊要攻城，便领兵三万出战。李渊领兵假装后退，让李建成和李世民领兵抢占了东门和南门，堵截了宋须生的退路。在交兵中李渊又漫衍宋须生已经战死的谎言，摆荡了隋军的军心。隋军大败，全军毁灭。宋须生也在被守军用绳索往城墙上提时，被李渊的军头卢军谔跳起杀死。李渊顺利占据了霍邑。
617年（大业十三年）农历七月，李渊率军三万誓师，正式起兵。在公布的檄文里斥责隋炀帝听信谗言，殛毙忠良，穷兵黩武，导致民怨沸腾，“豺狼充于门路”，是以，李渊要废掉昏君隋炀帝，尊为太上皇，然后拥立代王杨侑为帝。实在，这仅仅是李渊的一种号令天下的战略。
到618年（大业十四年）农历蒲月，隋炀帝的右屯卫将军宇文明及在江都兵变，勒死了隋炀帝，然后立秦王杨浩为帝，本身做大丞相，随后领兵十万北上，但被李密打败。宇文明及败走魏县（今河北大名东），毒死杨浩，本身称帝，建立郑国。第二年，过了天子瘾的宇文明及在聊城被窦建德杀死。
李渊为了稳固太原这块按照地，北面和突厥交好，消弭隐患，南面主如果弹压了历山飞叛逆兵。李渊通过收编其残存，进一步强大了本身的力量。
公元611年（大业七年），各地农夫叛逆不竭，天下共有近二百多支反隋叛逆兵。厥后逐步构成三支主力，即窦建德带领的河北叛逆兵，杜伏威带领的江淮叛逆兵，李密、翟让的瓦岗军。
窦氏的聪明超出了普通人。隋炀帝看到李渊的脸上皱纹多，便戏称李渊是“阿婆”。李渊回了家很不欢畅，窦氏问清启事，顿时道贺道：“这是吉兆啊，你担当的是唐国公，‘唐’便是‘堂’，‘阿婆面’就是指‘堂主’啊！”窦氏指的是李渊将来要做天子，代替隋炀帝。