八月13日，突厥马队包抄了雁门郡城，几十万马队入塞，穿过隋定襄、马邑二郡直入雁门，将杨广御驾后妃宫女宰相百官等十几万人围得铁桶普通。杨广一行猝不及防，高低惶恐，撤民房构筑工事以作守御。当时苏夔领城东面防卫事，用一夜时候造作了“弩楼车厢兽圈”，但是几次比武，猝不及防的官军均倒霉，雁门郡四十一座城被突厥很快攻占了三十九城，只要雁门、哼县还在死守。时雁门郡城有兵民十五万，粮食仅可支两旬，情势危急万分。突厥的几次猛攻，箭头有的乃至落在天子杨广的跟前，弄得杨广狼狈不及，抱着幼小的儿子赵王失声痛哭，哭得“目尽肿”。城外杀声震天，城内哄作一团。关于战守之策，将相们定见纷繁，杨广乃至诏令裴矩和虞世基宿于朝堂，“以待参谋”。面对本身搀扶起来的滚滚突厥马队杨广唉叹道:“向使长孙展在，不令突厥至此。”
大将军宇文述建议杨广率数千骑突围，尽早脱身。纳言苏威反对，以为万乘之主不宜轻动，且“城守则我不足力，轻骑则彼之所长气”，避长就短非常伤害。民部尚书樊子盖同意苏威的定见，说:“陛下万乘之主，岂宜轻脱，一朝狼狈，虽悔不及，未若守城，以挫其锐，四周征兵，可立而待。”接着，樊子盖又垂泣而谏:“愿停息辽东之役，以慰众望，圣躬出慰抚，厚为勋格，民气自奋，不敷为忧。”
雁门郡城即为驰名的雁门关，位于山西代县。“天下九塞，雁门为首。”雄关依山傍险。高踞勾注山上。东西两翼，山峦起伏。山脊长城，其势蜿蜒，东走平型关、紫荆关、倒马关，直抵幽燕，连接瀚海；西去轩岗口、宁武关、偏头关、至黄河边。雁门关与宁武关、偏头关为内长城之“外三关”，这里峰峦叠蟑、山崖峻峭，关墙雉堞麋集。烽堠遥相照应。东西两面将老营口、坷申池口、阳方口、东隆口、西烃口、北楼口、大石口、石口、马兰口、茹越口、胡峪口等十八隘口连为一体，阵势非常险要，为千古兵家交战之地。战国期间。赵国大将李牧常驻雁门，仰仗关城之险，慎重戍守，击败匈奴十万人马；汉朝名将李广、卫青、霍去病曾经率兵和匈奴在此廖战，大获全胜，威震塞外。这也是为甚么杨广一行在晓得始毕可汗带了十万的突厥马队来冒死往这里挤的启事，就是想借险关来面对来势汹汹的突厥雄师。
厥后裴矩向杨广上奏以为始毕可汗羽毛己丰，部众渐盛，不太听话，便建策分其势，请杨广以宗女嫁给始毕之弟叱吉设，拜为南面可汗，以事诽谤。杨广觉得主张不错，但在实施中却未能如愿，因为叱吉设不敢接管隋公主，而始毕可汗闻知后也对杨广产生了痛恨。一计不成，又生一计，裴矩又向杨广献策说:“突厥本朴素，易行诽谤，但因为其帐内多有西域九姓胡，尽皆莱黯奸刁，”为始毕出主张，并教唆之。传闻有个叫史蜀胡悉的人尤多奸计，遭到始毕的宠任，可用计先诱杀他。杨广听后即予准予。裴矩因而派人向史蜀胡悉传言:“天子大出珍物，今在马邑交关贸易，若前来者，即得好物。”胡商出身的史蜀胡悉闻知后以为是发财的好机遇，不颠末始毕可汗同意即尽驱家畜前来互市，成果在马邑关下被伏兵斩杀。裴矩以大隋天子的名义诏报始毕可汗:“史蜀胡悉俄然自领部落入塞来此，云叛变可汗，请我包容，突厥既是我臣，彼有叛变，我当共杀，今己斩之。”但始毕可汗并不是傻瓜，更不会等闲被骗，体味本相后对大隋对杨广更加痛恨。
大业十一年的除夕朝会东突厥始毕可汗虽派出了朝贡使，并在朝班中排名第一，但杨广三次征讨高句丽，始毕却没有派出一兵一卒来助战，没有实施大业四年(608年)杨广与他父亲启民商定的共同出兵之议。分歧的是，始毕可汗的死敌西突厥处罗可汗，则是三次都随杨广出征，并出动了兵马，如特勤阿史那大奈就随杨广伐辽。固然出兵的多少并不能影响大隋与高句丽大局，但是这是一个态度的题目。西突厥处罗可汗出兵，而东突厥的始毕可汗不出兵，明显预示着隋与东突厥的干系己产生窜改，启民期间两边的密切干系己经变得冷淡了。也申明始毕可汗不肯意像他父汗一样成为大隋的傀儡。