吴三桂死后，诸将领否决了北上争天下之议，专力保守云贵，但也不想轻易丢弃湖南，还在尽一切力量力图保住湖南。这对保住云贵仍然是一大关键。愿望如此，却不能左右形势的逆转。自三桂一死，军心进一步涣散，愈发不可收拾。吴应麒坚守岳州，勉强维持到康熙十八年正月，便弃城冲围而逃。丢弃岳州，湖南门户洞开，时刻待命渡江的荆州清军于正月二十七日蜂拥渡江，千帆竞发，漫江而来。圣祖下令展开总攻击，遂成破竹之势，吴军全线溃退……
吴应麒自岳州撤出后，奔长沙，不敢多停留，于正月二十九日烧毁船只，弃城逃跑，率残部投向辰州，胡国柱也同吴应麒撤出长沙，退屯辰龙关，与吴应麒相掎角，企图力守。吴军一撤出长沙，清军随后入城。长沙不战而得。
自正月吴军由岳州撤退，湖南战场形势为之一巨变：各处吴军不守，闻风即逃，其势如退潮，在不到两个月的时间里，自北而南，吴军毫不停歇地向后退去，清军马不停蹄地尾随紧紧追逐，几乎是兵不血刃，追到一处，得一处。于是，在湖南的广阔战场上，出现了一种战争的奇观景象：一方铁骑如云，玉轴相接，似狂潮奔腾，似疾风骤雨，滚滚向前，席卷而来；一方丢盔卸甲，溃不成军，急急如丧家之犬，狂奔逃命。造成这种局面，其基本原因是吴军失去统一指挥，将帅们已完全丧失战斗意志，无心抵抗，清军未到，率先逃跑。
吴应麒、胡国柱、王绪等经长沙一口气逃到辰州（即前面所讲的沅州和溪州一带），安营扎寨，依险据守。到这时，除了辰州、武冈、新宁，湖南绝大部分地区都被清军占领。
残留在辰州等地的吴军处境极为狼狈而艰难，据清兵于四月末侦探报告，逃到辰州的吴军不下万人，大部分兵士无甲，看军势，“比往日在澧州、衡州之军势冷淡极矣”。仅有窝统四五千，在此之前，所拥有的大炮、鸟机、兴隆等炮都丢弃了。“军饷全无”，新从云南发来两船金子，每名军士该给银五两，折金子才四分几厘，买酒买肉都不够用。差城中文武官下乡买粮，只能买到三五十石，没有买过上百石的。每名军士给谷二斗，不够吃。又据清朝方面侦探，“贼兵全是黔蜀土司为之窃用”。他们粮饷不足，特别是从云贵征来的苗瑶士兵大为不满，甚至怨恨。每天夜里，几十人、上百人逃跑了，都说：“大兵(指清兵)一到，不过一走。”吴国贵、马宝等诸将每天愁眉苦脸，叹息不已。马宝曾同胡国柱等人议事，说：如支撑不住，只管扯回铁索桥据守，他同几个将军横冲直走任何地方。军中将士都怨恨吴应期“将岳州大门打开”，以致清军势大难敌，吴军不断败逃。
又据清兵侦探于五月二日进一步探明吴军驻守辰州地区的兵力部署情况：从界亭驿(辰龙关附近)往下，至神龙关，有吴军守关，其背后郭家溪有军埋伏。在辰州坪，有将军王惠带兵二千余人，扎有木城；在清捷铺，有将军巴养元带兵二千余人，周围挖有马堑；在惠姚铺，有吴应麒自领兵二千余人；在辰州府城有姓赵的将军带兵二千多人，驻扎西关。胡国柱住在城内，往来办理粮草。在水路，白溶(应为“北溶”，白、北两字音近)渡口驻有祖述舜将军所领三千余人镇守。至五月二十四日，又增加了王将军所领两千人，把守青浪地方。还有姓柳和姓周的两总兵带水军三千多人，有战船八十三艘，在青浪停泊。
吴应麒等在以上城镇驻兵，皆在辰龙关到辰州之间，各据险要固守，陆续集结溃散吴军，已达一万三千余人。吴应麒等决意在此固守，企图阻止清军进入云贵。辰州(沅陵)临近贵州和四川，位沅江之畔，由水路和陆路直通贵州。特别是辰龙关“乃通云贵的孔道”，此关一带，山势险峻，林木森密，人行不易，骑兵不能成列。辰龙关为辰州的门户，不破此关，也就不能通过辰州。还在三月间，勒尔锦部已至辰龙关附近，但见群山林立，林深路险，不敢进兵，畏缩不前，又赶上雨季，便以种种借口，“急行退还”，因而使吴军得以从容部署，构筑防御工事，在此稳定了局面。圣祖对勒尔锦和他派遣取辰州的将领非常不满，给予严厉申斥。从五月七日到二十四日，清谍工又进行侦察，所报吴军人数比前次侦察时有所减少，可能是兵士不断逃亡所致。
迟至七月，清兵仍没有进攻辰州。大将军简亲王喇布指挥下的清军，在辰州南的武冈(今仍名)，向据守的吴军发动了强大的进攻。吴军骁将吴国贵率残部二万余人与清军对抗。喇布派穆占及其所部于八月一日先取新宁县，然后与大将军安亲王岳乐合军攻武冈、枫木岭等处。他们知道吴国贵是一劲敌，不敢轻视，特集结优势兵力：岳乐率每佐领各十一人、绿旗兵一万人，约计一万五千人，简亲王喇布所部也不下二万人，合计近四万。激战在枫木岭隘口展开。吴军尚有战斗力，没有溃退，而是迎战上前，拼力厮杀。新降的林兴珠与提督赵国祚等将熟知吴军内情，他们亲率清军奋击，击败了吴军。在枪炮互相轰击中，吴国贵误中冷炮，当即倒在血泊里。吴军一看主帅身亡，弃武冈而逃。固山贝子“定远平寇大将军”章泰(岳乐已调回京师，其职务由章泰接任)等率所部追到木瓜桥，再败吴军。武冈、枫木岭随之而下。
清军夺取了武冈，截断了辰龙关的后路，吴军更加惊慌。继武冈战役后，收复辰州的战役也相继开始。从辰龙关至辰州，再至辰溪，吴军沿沅江分水陆两路固守。胡国柱原守辰州，不久又改调到辰溪驻守，吴应期仍驻辰州灰窑铺，其他将领杨有录、周祯、杨宝荫、祖述舜等各率所部占据要地。为了迷惑清军，他们每天都变动驻守地，“迁移不定”。吴军逃亡情况严重，有的营地的兵士几乎逃尽了。
康熙十九年(1680年)初，大将军察尼向辰州发动了进攻。参将彭蟠充当了进攻辰龙关的急先锋。他指挥手下五千兵士从间道袭击辰龙关。辰龙关吴军拼死抵抗。彭蟠以手下精锐兵士伤亡三千多人的代价，全歼守关吴军五千人。清军三月十三日抵辰州城下，吴军不守，争先逃窜，知府傅祖录献城投降。守辰州地区的吴将帅都放下武器，各率所部投顺。
清军得了辰州，继续向南进军，攻破了芷江。吴应麒、胡国柱等败走贵阳。“枫木岭、辰龙关一经开辟，则攻取滇、黔势同破竹。”通路已经打开，清军可以毫无阻挡地直取云贵了。
溪州全境收复，参将彭蟠准备就任他的溪州土司。不料朝廷降下改土归流的旨意。沅澧一带的四大土司被全部撤除。彭蟠要么做文官，要么做武将，不再有军政两权一齐抓的机会。彭蟠选择了做武将。朝廷升彭蟠为副将，给兵员编制只有二千，调拔湖广总督蔡毓荣麾下。
