，纷纷从城中逃出归顺唐军。
当时，协助肃宗指挥全局的李泌主张先派安西及西域兵进军东北，从归州（今河北怀来）、檀州（今北京密云）南攻范阳，先夺取叛军老巢，让叛军首尾不能相顾，疲于奔命，这样，唐军便能以逸待劳。肃宗求胜心切，说：“现在大军已集，江淮庸调也到，应以强兵直捣叛军腹心。如果派兵至东北数千里，先攻取范阳，则是舍近求远。”李泌说：“如果现在以所有的兵力收复两京，虽能攻下，然而叛军一定会东山再起，我军又将陷于危急境地。现在我们的精兵主要是西北边镇和西域诸胡的军队，性耐寒而畏暑，如果利用其士气，进攻叛军疲劳之师，一定能够攻克。而现在两京已到春天，叛军收其残兵，逃归范阳老巢，关东暑热，官军忍受不了，一定要回西北。这时叛军休兵秣马，将会卷土重来。那样就会征战不休。不如先用西北之兵攻取叛军巢穴，其退路已断，然后再彻底消灭之。”但肃宗急于收复长安、洛阳两京，没有耐心等待，没有听从李泌的建议。
不过，还没有等到肃宗正式开始收复两京的调度，便先经历了一场惊吓。当时，唐军关内节度使王思礼驻扎在武功，兵马使郭英乂驻扎在武功东原，王难得驻扎在西原。二月十九日，叛军大将安守忠突然率军进攻武功，郭英乂军迎战，不料唐军大败，郭英乂本人也中了一箭，狼狈而逃。而王难得见死不救，自己率军撤退。王思礼孤掌难鸣，便率军退到扶风一带。叛军骑兵一度赶至大和关（今陕西岐山南），距离凤翔只有50里，肃宗大惊，下令凤翔戒严。
幸好叛军只是虚晃一枪。实际上，此时叛军内部矛盾重重。自从安禄山占据洛阳后，大肆享乐，他原本就极为肥胖，以至患上了目疾，双目几乎失明。又生有疽疮，经常疼痛难忍。他本来就很暴躁的性情，变得格外残暴，遇事稍不称心，轻则呵斥、谩骂，重则鞭挞，甚至杀人，弄得身边的亲信人人自危。安禄山身边的宦官李猪儿挨打最多，由此心生怨恨。而安禄山称帝以后，深居禁中，大将难得见其一面，一切大事都由严庄（怂恿安禄山起兵之人）传达。即使是如严庄这样的心腹重臣，也经常被安禄山鞭打。安禄山平日宠爱小妾段氏，段氏见安禄山如此状况，料来命不长久，便想为自己打算，让亲生儿子安庆恩取代安庆绪的“太子”地位。安禄山也颇为此意，因此造成安庆绪的自危，使父子矛盾激化。严庄为了自己的利益，乘机唆使安庆绪和安禄山的贴身宦官李猪儿杀安禄山以求自保，于是严庄与安庆绪深夜持兵立于房外，李猪儿持刀入房，猛砍睡梦中的安禄山的大肚子。一连几刀，血流如注，连肠子也流了出来。安禄山从睡梦中惊醒，连忙去摸枕旁的护身佩刀，佩刀却早已经被李猪儿藏了起来。安禄山摇动帐竿说：“一定是家贼杀了我。”最终因失血过多痛苦地死去。
安禄山死透后，安庆绪、严庄才进入房内，用毡毯包裹好尸体，埋在床下。严庄对外宣称说安禄山得了急病，立晋王安庆绪为太子。于是庆绪即帝位，尊安禄山为太上皇。安庆绪昏庸懦弱，言辞无序，严庄生怕众人不服，便不让安庆绪见人。安庆绪也日夜纵酒为乐，称严庄为兄，事无大小，皆取决于严庄。
安庆绪杀父自立后，任命史思明为范阳节度使，兼领恒阳（今河北正定）军事，封妫川王。然而，当初安禄山攻陷两京后，将大量掠夺来的财帛珍货都运往老巢范阳，所以安禄山一死，这些财物都落入史思明之手，他不满安庆绪弒父自立，开始拥兵自重，不听安庆绪的命令。安庆绪的声望本来就不及其父，对此也无可奈何。
至德二年（757年）四月，迫不及待的肃宗任命郭子仪为司空、天下兵马副元帅，召其率军赴凤翔，预备发起总攻，一举攻克长安。叛军大将李归仁闻讯率领骑兵5000至三原（今陕西三原东北），郭子仪事先派部将仆固怀恩（铁勒部人）、王仲升、浑释之、李若幽在白渠留连桥埋伏，结果叛军中了埋伏，全军覆没，李归仁跳入白渠水中，才逃得一命。
郭子仪首战告捷后，随即与关内节度使王思礼合兵，向长安进军。叛军大将安守忠、李归仁率大军在京城西清渠抵挡唐军，双方相持7天，唐军无法前进一步。安守忠假装撤退，郭子仪立即下令全军追击。叛军派出9000骁勇骑兵，摆开一字长蛇阵，唐军上前进攻的时候，长蛇阵首尾突然变化为两翼，夹击唐军，唐军大败。唐判官韩液、监军孙知古都被叛军俘虏，军资器械丢弃殆尽。郭子仪不得不退军，并上书肃宗，请求自贬。
肃宗见唐军一败再败，认为叛军精锐难敌，一直忧心忡忡。郭子仪认为回纥骑兵精锐，可与叛军匹敌，便劝肃宗请回纥派援兵。肃宗与回纥怀仁可汗定约：“收复京师之日，土地和百姓归唐，金帛与子女尽归回纥。”这实际上是一种变相的饮鸠止渴，同时将灾难转嫁到普通百姓身上。
怀仁可汗欣然同意，立即派儿子叶护及将军帝德等率4000精锐骑兵来到凤翔，要助唐军一臂之力。肃宗十分高兴，盛情宴劳赏赐叶护，惟其所愿。回纥军的伙食也优厚于唐军，每天供应羊200只，牛20头，米40斛。肃宗之子广平王李俶（后改名李豫，即为后来的唐代宗）还与叶护对天盟誓，约为兄弟，叶护大喜过望，主动称呼李俶为兄长。
至德二年（757年）八月二十三日，肃宗犒赏三军，准备发起总攻长安、收复京师的战斗。郭子仪依然任天下兵马副元帅（广平王李俶挂名天下兵马元帅），负责总指挥。肃宗对郭子仪说：“事情成败，在此一举。”郭子仪回答说：“如果这一战不能收复长安，臣当以死来相报。”
八月二十七日，御史大夫崔光远（即前面那位反复无常的京兆尹）首先出战，大败叛军于骆谷（今陕西周至西南）。随后，唐将光远行军司马王伯伦、判官李椿率2000人马进攻中渭桥（今陕西咸阳东北），杀叛军守桥兵1000余人，并乘胜攻至长安苑门，形势一度对唐军有利。当时驻扎在武功的叛军听说渭桥失守，担心腹背受敌，便急忙弃地而逃，奔回长安，刚好遇到唐军进攻长安苑门，于是与守城叛军内外夹击唐军，唐军溃败，唐主将王伯伦战死，另一主将李椿被叛军俘虏。
九月十二日，天下兵马元帅广平王李俶率领朔方诸道唐军及回纥、西域来援之军共15万，号称20万，从凤翔出发。回纥军到达扶风之时，郭子仪专门为叶护设宴，热情款待。出乎所有人的意料，叶护竟然慷慨说：“国家有难，我才率兵从大老远赶来相助，国难未消，何以食为！”宴会一结束，便立即率军出发。
九月二十七日，唐大军到达长安城西，在沣水之东的香积寺（位于今陕西长安南）以北摆开阵势，李嗣业为前军，郭子仪为中军，王思礼为后军，回纥兵马由叶护率领作为机动部队，唐军绵延横亘30里，要与叛军决一死战。叛军10万人在北部列阵，叛将骁将李归仁首先出阵挑战，唐军前队迎战，逼近叛军阵前，叛军突然开始大反扑，唐军阵势大乱，开始溃败。在最危急的时候，李嗣业说：“今日如果不以身饵敌，则官军非败不可。”于是卸下铠甲，光着膀子，抡起长刀，大声呼叫，冲向敌阵。李嗣业勇猛砍杀，所向披靡，共杀数十人，叛军一时惊骇，竟然被其英勇所震慑。唐军见主将身先士卒，士气大振，阵势得以稳定。
当时，叛军事先将精兵埋伏在东面，想袭击唐军的背部。唐军得知后，派朔方左厢兵马使仆固怀恩率回纥兵回击，回纥兵锐不可当，叛军望而生畏，死伤惨重，几乎全军覆没，叛军由此锐气大受挫折。李嗣业又与回纥兵从叛军阵后出击，与唐大军两面夹击，共杀死叛军6万余人，填于沟堑死者不计其数。这场血战一直从午时持续到酉时，直到夜幕降临，叛军大败之下，不得不收拾残兵退入长安城中。
这时候，仆固怀恩对广平王李俶说：“叛军肯定要逃离长安，请让我率两百骑兵追击，这样一定能俘获叛军大将安守忠、李归仁等人。”李俶却不同意，说：“将军战已疲劳，暂且休息，等明天再说。”仆固怀恩说：“李归仁、安守忠等都是叛军中的骁将，今天被我们骤然打败，这是天赐给我们的好机会，为何要纵之而逃呢！如果使其重整旗鼓，卷土重来，将是我们的大祸患，到那时后悔就迟了！兵贵神速，为何要等到明天！”广平王李俶却坚持不让追击，让仆固怀恩回去。仆固怀恩料到叛军必无守志，一定会弃城逃跑，又去向李俶请求，往而复返，一晚数次，但李俶始终没有同意。
果然如仆固怀恩所料，当天半夜，叛军大将李归仁、安守忠与张通儒、田乾真均弃城逃走。一直到第二天天亮，唐军才得知消息，然而追击已经来不及。九月二十八日，唐大军进入长安，长安由此收复。
李俶率军进入长安时，城内的百姓扶老携幼，夹道相迎。然而，他们并不知道，肃宗与回纥背后的交易差点让他们遭到灭顶之灾。长安收复后，回纥叶护便要履行前约，预备大掠长安，索掠城中的金帛、女子。广平王李俶见百姓正欢天喜地，喜悦难言，于心不忍，拜于叶护马前，劝说道：“现在刚刚收复西京（长安），如果大肆虏掠，则东京（洛阳）城中的人皆为叛军固守，就难以攻克了，愿收复东京后再如约。”叶护见李俶对自己下拜，非常吃惊，急忙跳下马答拜，跪下捧着李俶的脚说：“我立刻率兵为殿下收复东京。”随后与仆固怀恩率领回纥、西域兵由城南绕行，到浐水以东安营扎寨。
长安的百姓得知真相后，拜泣李俶说：“广平王真是华夷之主！”李俶由此赢得了巨大的声誉。后来肃宗听说此事，感慨地说：“我不及也！”
长安收复后，叛军军心动摇，叛军大将张通儒等逃出长安后东走，率残兵退守陕郡。李俶、郭子仪又率大军进攻洛阳。安庆绪集合全部精锐，以御史大夫严庄为指挥，与张通儒合兵，步骑共15万，抗拒唐军。
十月十五日，广平王李俶率大军至曲沃（今河南灵宝东）。回纥叶护派麾下将军鼻施吐拨裴罗率军依南山设伏，郭子仪等率军与叛军在新店（今河南陕县西）交战，叛军依山结阵，郭子仪初战不利，开始败退，叛军趁胜下山追击。事先埋伏在南山的回纥兵突然冲出，袭击叛军后方。叛军一直畏惧回纥兵，当时回纥兵尚未追及，于滚滚尘埃中先射出了十几支箭，叛军一见是回纥的箭矢，惊呼道：“回纥兵来了！”军无斗志，竟然由此而溃散。唐军趁机杀了个回马枪，与回纥兵两面夹击，叛军大败，死伤遍野。
安庆绪见大势已去，率领残兵仓皇逃往河北。在离开洛阳之前，安庆绪将俘获的唐将哥舒翰、程千里等30余人杀死。
十月十八日，广平王李俶率军入洛阳。至此，两京均已收复，平叛战争取得了重大胜利。洛阳百姓却再次遭受不尽的苦难，欢迎唐军的人群还没有散去，回纥兵已按捺不住，直冲向库府收取财帛，在洛阳市井及村坊之中大肆抢掠3日，且理直气壮，毫无顾忌。广平王李俶也无法阻止其剽掠行为。洛阳民众出于无奈，主动募集罗锦万匹献给回纥，回纥才停止抢劫。为了安抚回纥，肃宗任叶护为司空，封忠义王，并规定每年赠回纥绢2万匹，从朔方军领取。
十月二十三日，肃宗重回长安，城中百姓出国门奉迎，20里不绝，均舞跃呼万岁，喜不自胜。之后，肃宗大赦天下，只有与安禄山同反者及李林甫、王鉷、杨国忠子孙不在赦免之例。立广平王李俶为楚王，不久又被封为皇太子，加郭子仪司徒，李光弼司空，其余李嗣业、王思礼、仆固怀恩（铁勒部人）、鲁炅、张镐等有功之将各进阶赐爵，加食邑不等。死节之士李憕、卢奕、颜杲卿、袁履谦、许远、张巡、张介然、蒋清、庞坚等皆加赠，并封其子孙官。战亡之家，免两年赋役，郡县明年租、庸免三分之一。唯有肃宗最重要的谋臣李泌归隐衡山。
当时有不少大臣投降了叛军，如东京就有受叛军官者陈希烈、王维等300余人，这些人均被逮捕下狱治罪。肃宗还专门任命礼部尚书李岘、兵部侍郎吕湮为详理使，与御史大夫崔器共同审理陈希烈等人降叛军之罪。吕湮、崔器认为诸陷叛军官员皆背国从伪，按律都应该处死。肃宗也想如此，以杀一儆百。但李岘却说：“叛军攻陷两京，天子走保蜀中，人们各自逃生。这些陷贼官都是陛下亲戚或勋旧子孙，现在一概以叛逆罪处以死刑，恐有乖于仁恕之道。并且叛乱还没有最后平定，河北未下，群臣还有许多陷于叛军。如