617年（大业十二年）农历蒲月十四日的夜里，李渊命李世民在晋阳（即太原）宫城外埋下伏兵。第二天凌晨，李渊和王威、高君雅议事。刘文静领开阳府（太原十八府之一）的司马刘政会到庭中，说有密状给李渊。李渊便让他交上来，但刘会政却不交，说要告的是副留守，只要李渊才气看。李渊假装吃惊地说：“如何会有这类事？”李渊看后便对大师说：“王威、高君雅要勾搭突厥入侵。”因而命人拘系了他们二人。第二天，刚好有突厥几万人围攻太原，这更令人信赖了。李渊趁机将二人杀掉。
李渊大要上承诺了他的要求，公开里却派长史张宝德监督，等李密分开长安要出关时李渊却命令让他留一半兵在华州（今陕西华县）。这时，和李密同业的张宝德向李渊告发说李密要兵变，实际是张宝德怕李密跑掉本身担不叛逆务。李渊便命李密一人入朝。李密感到大祸临头，便起兵想闯出关去，成果被围歼。在和李密的斗争中，李渊充分操纵了李密高傲高傲的缺点，在开端吹嘘李密，等长安拿下后，李密投奔他时又设想撤除了这个隐患。
李渊本来做过刺史，在隋炀帝即位之初做了荥阳（今河南荥阳）、楼烦（今山西静乐县）两个郡的太守，厥后任殿内少监、卫尉少卿。公元613年（大业九年），隋炀帝挞伐高丽时，李渊在怀远镇督运粮草。这时，杨玄感操纵民愤举兵反隋，厥后失利。在这期间，李渊受命镇守弘化郡（今甘肃庆阳县），广交天下豪杰，遭到隋炀帝的猜忌。在615年调任山西、河东，达到龙门时，赶上了母端儿农夫叛逆，李渊领兵击败了叛逆兵，收编万余人，气力大增。第二年，他升为右骁卫将军，任太原道安抚大使，今后落脚太原，运营厥后的起家之地。
突厥兵固然退去了，但难保不再来。为了从底子上处理题目，李渊给突厥写了手札：“若能从我，不侵百姓，挞伐所得，后代财宝，皆可汗有之。”信中为了稳住突厥，李渊勉强责备地用了臣下的语气，如许做也是为了给南下用兵打扫后顾之忧。究竟证明，李渊的战略收到了预期的结果。
镇守太原之初，李渊就表示出过人的军事策画。隋炀帝从楼烦巡游到雁门时，被突厥兵包抄，因为李渊的太原兵才得以得救。隋炀帝便让他和马邑郡守王仁恭一同北击突厥。但他们的兵马很少，不敷五千。李渊便选出善于骑射的两千马队，吃住骑射仿效突厥兵，向突厥夸耀武力，等和突厥兵遭受时李渊便命令进犯，成果打败突厥。今后以后，突厥不敢再等闲南下了。
李密遭到李渊的复书也是非常欢畅，因而用心于对于东面的隋军。一东一西，两个李姓人开端了较量，但李密最后还是稍逊一筹，败在李渊部下，还丢了性命。
窦氏在政治方面对李渊的帮忙是非常大的。李渊本来有很多骏马，窦氏就劝他献给爱马的隋炀帝：“皇上喜好鹰和马，您是晓得的，现在应当把骏马献给皇上，不该本身留着，招人闲言诬告。”李渊开端还舍不得他的骏马，厥后真的被隋炀帝责问。窦氏在45岁时归天，李渊这才细细揣摩亡妻的话，感觉很有事理，因而就常常给隋炀帝送骏马鹰犬，隋炀帝公然非常欢畅，很快升李渊为将军。李渊流着泪对儿子们说：“我如果早点听你们母亲的话，早就做上这类官了。”
李渊惊骇宋须生守城不出，打成耐久战对本身倒霉。李世民却以为能够应战引他出来决斗。因而李渊让两个儿子领几十名马队进城察看，本身将军队分红十几队，从城东南到西南，摆出一副安营攻城的架式。宋须生公然入彀，觉得李渊要攻城，便领兵三万出战。李渊领兵假装后退，让李建成和李世民领兵抢占了东门和南门，堵截了宋须生的退路。在交兵中李渊又漫衍宋须生已经战死的谎言，摆荡了隋军的军心。隋军大败，全军毁灭。宋须生也在被守军用绳索往城墙上提时，被李渊的军头卢军谔跳起杀死。李渊顺利占据了霍邑。