八月，大雨停止了，回军的李渊率马队沿巷子奔霍邑，宋须生守城不出。李渊无法就派李建成、李世民带领几十骑到城下唾骂宋须生，同时本身带领马队在城东埋伏。宋须生乃率众三万自东门、南门分道而出。李渊这时即同李建成左军结阵于东门，令李世民右军结阵于南门，以断宋须生的逃路。成阵以后，又怕宋军背城不肯远战，乃号令军队向后收缩，伪作退避宋军模样。宋须生公然以为李渊畏缩，在间隔城一里余处所布阵。不久李渊的后续军队来到，李渊想命军队就食后再战，李世民以为，“时不成失”，遂策动了的打击。一比武，李渊、李建成在城东的步地倒霉，便向后引退，李世民发明宋须生雄师侧背透露，即引兵自城南直冲宋须生军阵后，并扬言已俘虏宋须生，隋军大溃败，李渊得以敏捷占据了霍邑。
李渊率雄师循汾水进军，到了贾胡堡，距霍邑五十余里。这时，连日阴雨，军队受阻不能进步，并且军队缺粮。特别是有传言说刘武周结合突厥将进犯太原。这时。裴寂等以为：宋须生、屈突通连兵据险，不易处理；李密大要上承诺结合了，但靠不住。突厥贪而无信，唯利是图，结合刘武周进犯是能够的，将士家眷都在太原，太原职位很首要，“不如还救底子，更图后举”。李渊同意后命令退兵回太原。
随后，颠末筹办多时的李渊传檄各州、县，宣布正式起兵。李渊统领内的西河郡隋将得知李渊起兵的动静，依城把守。李渊只好派儿子李建成、李世民率兵攻打西河，并派太原令温大有参谋军事。西河郡兵微将寡，郡丞高德儒闭门守城。但是李建成仅仅用了9天时候便攻陷西河君，杀死了不肯兵变的高德儒。至此，李渊作为太原留守统领的五个郡的地盘除了三个郡被刘武周占据外，剩下的太原与西河两军皆归李渊统统。
过河后，李渊命李建成、刘文静等率军数万人向南迂回，占据永丰，扼守潼关，以防备东方；命李世民、刘弘基等率军数万人，向渭水北岸进军，节制长安核心各要点，然后攻占长安。而李渊本身则节制一部兵力在朝邑，批示各方向作战。
李建成也支撑李世民的主张，也反对退回太原。考虑再三的李渊随后窜改退兵决计，追回军队重新围攻霍邑。
李渊在攻占霍邑以后，乘胜连下临汾、绛郡(山西新绛)，进逼龙门。关中权势最大的一支农夫义兵孙华和冯翊（陕西大荔）太守萧造投降李渊。李渊因而一方面率主力围攻河东，另一方面派王长谐等率一部分兵力在孙华的帮部下度过黄河，在河西设营，形成了对河东围攻的无益情势。
十月，李渊率军自冯翊到长安东北，各军汇合，气力生长到几十万人。十一月，李渊汇合李建成、李世民、刘弘基之兵20余万攻打长安。打击长安前，李渊命令不准侵犯隋朝七庙和代王宗室，违令者夷其三族，遂命诸军攻城，军头雷永吉率先登上城头，都城长安很快被李渊霸占。
大业十三年(617)七月，李渊率隋军三万在太原誓师，进军关内并正式公布檄文。公布的檄文里，李渊斥责天子杨广听信谗言，殛毙忠良，穷兵黩武，导致民怨沸腾，“豺狼充于门路”，在檄文里李渊声明本身起兵是要废掉昏君杨广，然后拥立代王杨侑为帝，“尊天子为太上皇，立代王为帝，以安隋室”。而他本身则建大将军府亲任大将军，世子李建成为左领军多数督，李世民为右领军多数督，刘文静任大将军府司马。实在，这仅仅是李渊的一种号令天下的战略罢了，因为他复苏地熟谙到，此时的大隋王朝，是百足之虫、死而不僵。如果本身一开端就打出反对大隋的旌旗，那就不明智了。