这时，李渊刚从太原起兵，瓦岗军首级李密便写信给李渊，想和他缔盟共图大计，实际上是想让李渊尊他为盟主。李渊收到信后，非常欢畅，他当时正需求有报酬他反对中原还没有被毁灭的隋朝军队，使他免除后顾之忧，集合兵力拿下长安。因而李渊给李密复书，对李密死力吹嘘，说本身没有代替隋朝之意，这就是李渊本身所说的“卑辞推奖以骄其志”的战略，先麻痹李密，让他反对中原的隋军西进。
李渊大要上承诺了他的要求，公开里却派长史张宝德监督，等李密分开长安要出关时李渊却命令让他留一半兵在华州（今陕西华县）。这时，和李密同业的张宝德向李渊告发说李密要兵变，实际是张宝德怕李密跑掉本身担不叛逆务。李渊便命李密一人入朝。李密感到大祸临头，便起兵想闯出关去，成果被围歼。在和李密的斗争中，李渊充分操纵了李密高傲高傲的缺点，在开端吹嘘李密，等长安拿下后，李密投奔他时又设想撤除了这个隐患。
李密遭到李渊的复书也是非常欢畅，因而用心于对于东面的隋军。一东一西，两个李姓人开端了较量，但李密最后还是稍逊一筹，败在李渊部下，还丢了性命。
617年（大业十三年）农历七月，李渊率军三万誓师，正式起兵。在公布的檄文里斥责隋炀帝听信谗言，殛毙忠良，穷兵黩武，导致民怨沸腾，“豺狼充于门路”，是以，李渊要废掉昏君隋炀帝，尊为太上皇，然后拥立代王杨侑为帝。实在，这仅仅是李渊的一种号令天下的战略。
李渊本来做过刺史，在隋炀帝即位之初做了荥阳（今河南荥阳）、楼烦（今山西静乐县）两个郡的太守，厥后任殿内少监、卫尉少卿。公元613年（大业九年），隋炀帝挞伐高丽时，李渊在怀远镇督运粮草。这时，杨玄感操纵民愤举兵反隋，厥后失利。在这期间，李渊受命镇守弘化郡（今甘肃庆阳县），广交天下豪杰，遭到隋炀帝的猜忌。在615年调任山西、河东，达到龙门时，赶上了母端儿农夫叛逆，李渊领兵击败了叛逆兵，收编万余人，气力大增。第二年，他升为右骁卫将军，任太原道安抚大使，今后落脚太原，运营厥后的起家之地。
镇守太原之初，李渊就表示出过人的军事策画。隋炀帝从楼烦巡游到雁门时，被突厥兵包抄，因为李渊的太原兵才得以得救。隋炀帝便让他和马邑郡守王仁恭一同北击突厥。但他们的兵马很少，不敷五千。李渊便选出善于骑射的两千马队，吃住骑射仿效突厥兵，向突厥夸耀武力，等和突厥兵遭受时李渊便命令进犯，成果打败突厥。今后以后，突厥不敢再等闲南下了。
窦氏的聪明超出了普通人。隋炀帝看到李渊的脸上皱纹多，便戏称李渊是“阿婆”。李渊回了家很不欢畅，窦氏问清启事，顿时道贺道：“这是吉兆啊，你担当的是唐国公，‘唐’便是‘堂’，‘阿婆面’就是指‘堂主’啊！”窦氏指的是李渊将来要做天子，代替隋炀帝。
617年，李渊正式任太原留守，成为一地最高长官。这里粮草充沛，兵员广漠，李渊在此扎下根来，开端积储力量。
李渊本籍陇西成纪（今甘肃秦安），他的祖父李虎，是后魏的陇西郡公，官最高到太尉，身后追封唐国公，这就是厥后李渊所建大唐年号的来源。李渊的父亲担当了唐国公的封号，在北周时任柱国大将军。在公元566年（北周天和元年）出世于长安，仅7岁就担当了唐国公的称呼。因为有了较高的出身，加上他本人的豁达与刻薄、才调出众，是以他声望很高。他的老婆窦氏也是隋朝贵族出身，作为一名可贵的贤浑家，窦氏对李渊的感化不成忽视。