李渊统率义军西进，沿途凡是皇家的离宫园苑，一律拆毁，放出宫女，交还她们的亲属。大业十三年（617）十月四日，李渊进抵长安，在春明门外西北扎营，会集各路人马，共计二十余万，统一调遣；同时李渊严令三军将士紧守营寨，不准进入村落骚扰百姓。他不断派出使节到城下向卫文升等宣称：“义军尊奉隋室，拥立代王，望开城接纳，免受交战之苦。”卫文升等闭门坚守，不予理睬，并立遣特使前往江都告急。李渊气得双眼喷火，头发直竖，传令诸军逼近城门，准备攻城。义军中军迁到了长安东城的南头门，即安兴门外的安兴坊。
京兆内史卫文升忧惧成疾，卧病在床，不能视事。左翊卫将军阴世师和京兆郡丞骨仪，借代王的名义，登城据守。李渊等了又等，忍无可忍，督促义军攻城。他严令三军：“不得侵犯皇家七庙和代王，以及隋朝宗室。敢有违令者，诛灭三族！”守城的隋军都系近卫亲兵，勇猛剽悍，颇有战斗力。义军也不怕死，手持短兵器，顶着盾牌，从临时搭在壕沟上的板桥上冲过去，冒着生命危险往云梯上爬。城上箭如飞蝗一般射将下来，投下滚木礌石。打退一批，义军又拥上来一批，城墙下的尸体愈堆愈高，射下的火箭还烧毁了不少云梯，义军始终攻不上去。盾牌不够用，他们便拆下民房的门板当盾牌，射到门板上的箭密密麻麻的，像刺猬一样。
义军不顾死伤，轮番发起冲击——每次冲击，将士们都发出威震敌胆的喊杀声。站在后面接应的步卒和骑卒齐声呐喊助威：“冲呀！冲呀！猛攻上去！”隋军矢石滚木有限，就拆民房，投掷砖头瓦块，浇开水，泼稀粥，或者倾倒桐油石灰浆。孙华见天色不早了，城头攻不下来，急红了眼，带着侍卫亲自上阵。他头戴铜盔，身披软甲，嘴叼腰刀，举着藤牌从云梯往上爬。背后的侍卫都用盾牌护身，跟着上。砖头瓦块和粥水雨点一般打在盾牌上，咚咚乱响。有两名侍卫摔下了云梯，孙华连头也不回，继续往上爬。眼看接近城楼了，射下来的火箭烧着了他的藤牌，烧着了云梯。隋军又一阵猛射，孙华和侍卫都中箭身亡。
接连攻了几日，攻不上去，义军损兵折将，伤亡很大。李渊召集李建成、李世民和主要将领，会商对策。裴寂虽然没有直接攻城，但是跟在李渊身旁跑来跑去，累得受不住了，只想睡一个饱觉。他神情疲乏，眯缝着老花眼说：“西京城墙高厚坚固，士气正旺，一时攻不下来。我军不如休整两日，以逸待劳，再投入攻城。”
“打仗哪有不死人的，死人并不可怕，只不过要尽量避免伤亡。”李世民提出了异议，“近日他们减少了弓箭和滚木礌石，大都用开水和砖头瓦块来代替，可见快挺不住了。我们切不可让城内得到喘息的机会，要利用兵源和物资的优势，集中力量猛攻西北两方，昼夜不停，两三日即可攻下来。”
“避免伤亡，有一个好法子，挖地道。”裴寂提议说。
“挖地道太费时，”刘文静表示反对，“现今要抢时间，垒土筑墙，加强进攻。”
李渊综合了两方面的建言，说：“全力以赴猛攻是上策，采取种种法子攻城，用云梯和垒土筑墙往上攻为主，挖地道为辅。从明日起，除了骑军和后备军，一律投入战斗。”
李建成、李世民、柴绍、李娘子和多数将领都表示赞同。李渊命令李世民直接指挥攻北门，李神通、柴绍和李娘子负责攻西门，李建成、刘文静和王长楷攻东门，他自己坐镇南门，不惜一切代价，发起强攻，不攻克不收兵。
李世民回营后，立马进行动员，鼓舞士气，连夜备战，天亮便投入了战斗。他亲临城下督战，首先命令弓箭手轮番向城楼上发射火箭，把敌军的威势压下去，然后垒土筑墙，架设云梯，并不断用火箭压住城上的投射，使他们不敢露脸。已经是十一月天气，朔风怒吼，大雪飘飘，上下箭雨纷飞，喊杀声惊天动地。攻到午后，守军渐渐疲软下来，滚木礌石和灰瓶炮子快投完了，箭雨也没有上午稠密了。义军的土墙差不多垒齐了城墙的半腰，云梯挤挤密密竖立起来。李世民下令发起总攻，亲自擂鼓助战，义军一鼓作气往上爬，双方又激战起来。鹰扬郎将雷云吉手举盾牌，第一个攀上城墙，砍倒几名守军，打开了缺口。义军不断登上城头，杀得守军喊爹叫娘，死的死，伤的伤，活着的抱头鼠窜，四散逃命，长孙顺德、窦琮和殷开山也登上了城楼拼杀。姜谟和窦轨从马道跑下城楼，砍开城门，放下了吊桥。李世民率领骑军和后备军冲进城内，转入巷战，扫除障碍，迎接李渊进城。
刘文静、刘世龙和武士彟带领亲兵闯入东宫。年仅十三岁的代王杨侑吓得脸色像蜡一样黄，上牙磕着下牙，战战兢兢说不出话来。左右侍从都逃散了，只有侍读姚思廉陪在杨侑身旁。义军进入殿堂，姚思廉厉声喝道：“唐公起义兴兵，系匡扶隋室。你们不得无礼！”
“我等是奉命来护卫东宫的，”刘文静说，“代王不必害怕。”
义军排列在庭院中，喧闹停止下来。李渊亲赴东宫，跨进殿门行臣下之礼。礼毕，让姚思廉扶着代王，送到大兴殿后殿暂住。
诸将陆续前来禀报：“巷战已经停止。阴世师和骨仪等顽固大臣都已逮捕，听候处置。”
“给我带上来！”
李渊的胸膛翻腾着复仇的怒潮，双眼瞪得滚圆。当初聚众起兵时，西京留守官派人挖掘他的祖坟，毁掉了李家五庙，后来智云也被阴世师杀害，拒绝义军进城的，又是他们。报仇的机会来了，岂肯轻易放过。用不着过多的考虑，也无需审判，李渊严厉指控他们贪赃枉法，苛政暴虐，抗拒义师，下令斩首。处决十多个首恶以后，其余的人便不再追究。他废除了隋朝所订的严刑苛法，颁布了临时约法十二条。
刘弘基攻克三原县时，活捉了担任马邑郡丞的三原人李靖和其夫人红拂女，押进了行辕。李渊非常恼恨李靖——李娘子许配柴绍后，他曾引诱李娘子私奔，好不容易才追了回来。李娘子却竭力替李靖辩解：“爹，是我要他带我走的，不是他拐骗我。”
李渊放过李娘子，只顾大声呵叱李靖：“我三番五次告诫你，同姓不能通婚。你小子不但不听，反而变本加厉，做出伤风败俗的事来。”
“我和你同姓不同宗，没有哪根筋扯得你痛。”
“不要狡辩，老夫说不行就不行。”
“既然不行，那在下就告辞啦。”
李靖向李渊双手一揖到地，准备转身离去。李娘子随即扑上去，强求要跟他走，李渊把她牢牢扯住了。李靖是隋朝名将韩擒虎的外甥，自幼心怀大志，文韬武略。韩擒虎曾摸着他的头对友人说：“能够和我谈论将帅谋略的，只有这个孩子。”他也因此出了名。其时杨广的叔父杨素，官拜司空，权倾朝野，李靖登门拜访，看中了他身旁执红拂的女子，杨素便将红拂女嫁给他为妻，成就了一段风流佳话。对于这位极富浪漫色彩的传奇人物和一代大军事家，李渊却偏偏看不上眼，并且因私恨打算处死他。李娘子不知是出于公心，还是私情未了，上前替李靖求情，李渊不肯。李靖濒于绝望，不禁喊着问道：“大将军兴正义之师，本是替天除暴平乱。怎么放着大事不干，却因私人怨愤诛杀壮士？”
“我救天下苍生与你无关，”李渊冷冷地白了他一眼，“用不着你来操心。”
“我堂堂七尺男儿，也有抱负呀！”
李靖的话并没有触动李渊，他的表情淡漠而冷峻，看不出赦免的意思。李世民素闻李靖大名，知他非等闲之辈，出面请求说：“如今正是用人之际，孩儿恳请父亲留下他。”
“嗨，”李渊双肩耸动了一下，“人才多着咧，他自命不凡，不见得有多大的本事。”
李世民拿眼示意柴绍。柴绍鼓起了勇气，坦诚地对李渊说：“岳父大人，我与娘子不打不相识，终于结成美满姻缘，夫妻举案齐眉，互敬互爱。过去的小插曲，算不了什么，就让它过去好了，不必计较。”
李渊心有所动，嘴唇嚅动了一下，欲语又止。红拂女双膝跪了下来，泪水夺眶而出：“民女跟随李靖多年，敢担保他心藏韬略，智勇双全。大人若尽弃前嫌，他定当肝脑涂地，报效军前。”
“父亲，杀一人不足惜，怕只怕断了英雄豪杰投奔你的路哟。”李世民加深了柴绍和红拂女话里的含义，增加了分量。
“李靖十分狂妄，很难驾驭。”李渊吐出了真言。
“那就交给我好啦。”
“你用得着他，我就不管了。”
李靖跪下叩头谢恩道：“多谢大将军不杀之恩，李靖当矢志不忘。”
李世民双手扶起李靖，带着他和红拂女离开行辕，朝自己的营帐走去。
不久，李渊奉迎代王杨侑到大兴殿，举行隆重的登极大典。拥立杨侑为帝，改大业十三年为义宁元年（617），遥尊杨广为太上皇，大赦天下。义宁皇帝杨侑特赐李渊假黄钺，使持节，担任大都督内外诸军事、尚书令、大丞相，晋封唐王。李渊把大兴宫武德殿改成丞相府，颁发公文由“教令”改称“命令”，每天到虞化门——大兴殿前东庙——处理政务。丞相府设置属官，李渊任命裴寂作长史，刘文静作司马。何潘仁派李纲进京朝拜，李渊留下李纲担任丞相府司录。又任命前考功郎中窦威当司录参军。接着，他奏请杨侑授封李建成做唐王世子，封李世民做秦公，担任京兆尹，封李元吉做齐公。
丞相府摆酒设宴，犒劳三军，大行赏赐立功人士。府库里的东西都用光了，国家财政困难。右光禄大夫刘世龙献策说：“义军数万人集中京师，柴草贵而布帛贱，不如把长安城中六条大街的道路林和御苑中的树木砍伐下来，当做木柴出售，用来换取绸缎布料，测算可以换到几十万匹。”
“城中的树木大都老化了，”裴寂补充说，“更新一下，五年十年又可以成林。”
“名贵古树还得留下来吧？”
“不，干脆剃光头。”
“事情就由二位去直接处理。不过，”李渊加重了语气，“今冬砍伐，明春可得重新栽上苗木，不得有误。”
“我们包管负责到底。”
李渊非常忙碌，连歌舞都无暇顾及。凡军政事务，文武官员的任职，以及典章制度的执行，功罪的赏罚，全都归丞相府处理。内外诸事还没有整顿完毕，正在理顺中，西边突然传来军报：僭称秦帝的薛举，发兵包围了扶风，扬言要赶走义军，进取长安。
形势骤然紧张起来，京城戒严，三军进入了临战状态。
