雨夜交谈七月十四日，李渊军抵达距霍邑（今山西霍县）五十余里的贾胡堡。霍邑，位于雀鼠谷南端谷口，西临汾河，东据霍山，地势险要，易守难攻。李渊要想取关中，必先去取霍邑。此时，隋朝虎牙郎将宋老生已帅两万精兵在那里驻防。
七月的华北正是雨季之时，连绵阴雨下个不停，道路泥泞不堪，无法行军，更别说打仗了。太原的粮草又迟迟未能抵达，派去出使突厥的刘文静又迟迟未归，军中更有传言突厥和刘武周要偷袭太原。怎么办？李渊想听听部下的意见。裴寂主张回师太原。理由很简单，太原是根据地，必先稳固太原。这一主张得到大多数人的支持，毕竟老婆孩子都在太原，突厥破城，那可怎么办。
而李世民则反对，他认为当初起兵就是为了取天下，应当直入关中，号令天下，今天遇上一小敌就回师，追随我们的大臣和将士就会离开我们，更何况退回太原只不过是占有一城罢了，我们就成了盗贼，迟早会被人一锅端了。李建成表示赞成这一观点。
李渊最后还是采纳了裴寂的主张，经历那么多，他早已变得老成持重。离关中还有很远的路，不知还要多少危难，前方不远就是讨厌的宋老生。打下长安最好！问题是打不下来呢？长安要是打不下来，太原又没了，那真的要上山打游击了！或许李世民说的是对的，可李渊不想冒这个险。
所以他当天就命李建成率领他的左军回救太原。李世民得知左军撤回太原，非常惊讶！他连夜去到李渊的营帐想说服李渊。此时已是半夜，李渊睡了。帐外的将士又不让李世民进去。
李世民很无奈，只好蹲在帐外哭，李世民也哭越伤心，越伤心哭的就越大声，恨不得把全军营的人都吵醒陪他一起数星星。李渊就这么活活被吵醒了：“谁吃饱撑着啦？三更半夜不睡觉，跑来这里哭。”
“是二公子！”“喔，请他进来吧！”“没事你哭什么啊！”“现今我们为救黎民百姓而起兵，前进则战必克，而退后，众人就会离我们而去。前面是逃离的将士，后面是强敌，我们被杀是分分钟的事啊！所以我才哭的那么伤悲。”
李渊是个老谋深算的主，他很清楚自己现在的处境。只不过他想先稳固后方再考虑进军，毕竟家里上上下下还有几十口喘气的，一家只都捏在自己手里。
可今晚李世民的话让李渊明白走上这条路就无法回头，只能勇往直前，不成功便成仁，没有第三条路！
李渊同意了李世民主张。命令军队向霍邑开进。可李建成的左军已经走了，现在就只有李世民的右军，一支军队是不可能打下霍邑成的。于是李世民连夜追赶李建成，让他回师。由于超速驾驶，加上夜黑风高，路况不明，李世民在路上出了交通事故，摔落马下。
没有办法，李世民只好擦擦屁股爬起来，这时马也不知道跑到那里去。李世民就靠两条腿一路走，终于找到李建成和他的左军霍邑之战上天似乎并没有大算抛弃李渊，八月三日，雨终于停了，而后方的粮草也随之到达。李渊军进抵霍邑城下。正式开启征战称王之路。

---