是时，皖南的土匪武装在地域上分为四大块：池州、宣城、芜当和徽州，亦即除芜湖市外，皖南地区所属4个专区都有土匪武装。其中以池州专区的土匪武装尤为猖獗。原国民党贵池县委委员、第七区联防区署副主任洪国顺于1949年4月下旬搜罗国民党军散兵游勇、惯匪等，组建所谓“游击指挥部”，在贵池、至德、东流、祁门和石台等县杀人放火、偷袭人民政权。至8月，洪国顺将其土匪武装改名为“中国人民自救军池徽边区指挥部”，下辖10多个大队、若干中队，还在一些乡村秘密设立情报站，组织义勇队、大刀会等，号称2000人。原国民党至德县县长汪汉于1949年4月下旬网罗国民党军残兵败将和当地流氓地痞500余人，组建“中华人民自救军皖赣边区总指挥部”，自任总指挥，活动于皖赣边境地区，还建立伪县政权。在宣城专区，各种有番号的土匪武装10多个，其中所谓“中国人民自救军皖南支队”规模较大，有200余人，活动在太平、青阳、泾县一带。此外，芜当专区和徽州专区的股匪、散匪亦有数百人。这些土匪武装，公然与新生的人民政权为敌，杀人放火，无恶不作。1949年6月30日，匪首洪国顺趁至德县葛公区政府干部赴县城开会之机，率土匪武装围攻区政府，打死留守的区武装部长王平，并劫走机枪、步枪等军用物资。7月8日，洪国顺如法炮制，率土匪袭击贵池县小河口区政府。留守的区中队长率6名战士英勇抵抗至夜幕降临，被迫撤离。洪国顺攻入区政府后，杀害未及突围的电话员等4人，劫夺枪支、子弹等军用物资。广德县匪首余友鹏在6月至7月间，多次袭击区政府，杀害人民政府干部5人、群众17人。至德县匪首吴天赐也多次袭击基层人民政权和公粮仓库，杀害干部、群众15人。整个皖南区从1949年4月至8月，被土匪武装抢去的公粮达24万斤。[39]宣城至南陵等地的电话线、电线杆多次被当地土匪割断、推倒；公路上的车辆、行人被抢劫，公路屡遭炸毁。人民生命财产安全和新生的基层人民政权面临日趋严重的威胁。
在皖南地区，除沿长江一带为平原丘陵外，其余皆深山密林，绵延数百里，为土匪武装流窜躲藏提供了“天然条件”；皖南大多数地区又是新解放区，人民群众对中国共产党及其新政权的政策主张不太了解，加上国民党政权长期统治、土匪武装的蛊惑煽动和威吓，使得剿灭土匪武装的斗争变得更加困难。渡江胜利后的人民解放军主力部队在解放皖南之后，迅速分兵南下，几无部队留驻皖南，剿匪力量严重不足，1949年5月至6月底的两个月内，中共皖南区委、皖南军区只能调集为数不多的地方部队，进行规模较小的剿匪斗争。匪情、匪患严重的局面没有能够得到有效遏制。7月至8月，皖南地区的土匪活动进一步猖獗，人数也增加到7000人至8000人，其中不少都是打着各种旗号的有组织的股匪。
从7月中旬开始，为配合建立和巩固农村基层人民政权，保卫人民生命财产安全，中共皖南区委、皖南军区决定采取军事清剿与政治瓦解双管齐下的办法，重点出击土匪活动频繁的地区和有组织的股匪。人民解放军华东军区给予有力的支持，调遣第二十五军第七十四师进驻皖南，担任剿匪任务。8月底，第七十四师第二二一团和池州军分区独立团及贵池县大队，在当地公安部门配合下，对洪国顺股匪展开清剿。9月1日，进剿部队分兵两路，向洪国顺大本营丁香胡村挺进。西路部队在牌楼街遭土匪伏击，经战斗，将土匪击溃；东路部队在横船渡地区抓获洪国顺股匪“政治部主任”费而隐等一批骨干分子，并逼近丁香胡村。两路部队在村前石桥附近与土匪展开激战，并强行冲过石桥，包围丁香胡村。在邻县、区地方武装的配合下，丁香胡村围歼战历时14天，全歼洪国顺股匪约650余人，解放了被洪国顺土匪盘踞的20余乡约12万人民，但匪首洪国顺及部分土匪逃脱。
人民解放军进剿部队马不停蹄，穷追猛打，并针对洪国顺股匪化整为零的情况，将部队分为若干小分队，以丁香胡村地区为中心，夜以继日地在深山密林中搜捕散匪。经过多次小型战斗及政治攻势，至9月底，除洪国顺等极少数残余在逃外，进剿部队共歼灭和生俘土匪116人，包括“上校参谋长”郝斯龙等匪首，并迫使“上校顾问”陈鼎一等423人投诚。此后，进剿部队派出若干侦察部队，追踪匪首洪国顺的行迹，曾连续搜寻洪国顺20余个躲藏处，均扑空而返，但其子洪泽江及亲信却被捕获。10月27日，追捕部队得到洪国顺只身躲藏于莘田乡洪家大院的情报后，立即派出20余人火速奔袭。次日，追捕部队将洪国顺包围在洪家大院内。洪国顺自知恶贯满盈，在走投无路的情况下畏罪自杀。至此，皖南最大的土匪武装“中国人民自救军池徽边区指挥部”被彻底歼灭。
在派出主力部队进剿洪国顺股匪的同时，1949年7月下旬，皖南军区池州军分区司令员金行生和独立团团长查富德率3个连的兵力进驻至德县小梅镇，开展对汪汉股匪的清剿。26日，汪汉股匪数百人攻打昭潭区人民政府，并包围驻守于此的独立团第二连1个排。28日，独立团3个连及时赶来增援，将土匪包围在昭潭街，经过激战，土匪大部被歼。在街外山上指挥作战的匪首汪汉见势不妙，匆忙带领少数匪徒向江西浮梁方向逃窜。此役，共歼灭土匪300余人，“中华人民自救军皖赣边区总指挥部”亦随之土崩瓦解。1951年春，四处潜逃的匪首汪汉在肥东县被抓获，随后押回至德县公审处决。
徽州、宣城和芜当3个专区的土匪武装相对较弱。从1949年9月起，皖南军区各部队在3个专区相继展开军事清剿。至10月26日，徽州专区共歼灭土匪416人，区内的6股土匪基本被铲除。宣城专区内的土匪也在11月中旬前被歼灭581人。芜当专区仅在11月份就有100多名土匪投诚。到1949年12月底，皖南地区较大股匪被全数歼灭，只有小股零星匪徒流窜于省、县交界处。
三、继续肃清残余土匪武装
经过1949年的大规模清剿，有组织的股匪已经基本被歼灭或打散。1950年1月至2月，皖北、皖南的社会治安和社会秩序趋于稳定，农村基层人民政权逐步建立和巩固。然而从3月份开始，皖北、皖南相继发生春荒，并迅速蔓延扩大；6月，朝鲜战争爆发；7月，淮河大水泛滥成灾。一个个无法预料的形势变化，一个个接踵而至的困难问题，都压向皖北、皖南党政军各级领导，迫使皖北、皖南人民必须面对。于是，整个春夏两季，皖北、皖南两区的人民群众在各级政府的统一组织指挥下，展开大规模的度荒、救灾、抗洪、抢险以及宣传党和国家的方针政策、宣讲国际斗争形势等活动。在这些活动过程中，新生的人民政权更进一步地得到了人民群众的认同和支持。皖北、皖南各级党组织和各级人民政府积极营造的政治局面，也更进一步地得以扩展、深入和巩固。
春荒、洪水以及朝鲜战争爆发，给反动势力带来了可乘之机。从1950年3月起，皖北、皖南的土匪和国民党特务活动逐渐增加，各地的散匪，有的重新集结起来，成为股匪；有的在原国民党军官拉拢下，重操旧业；还有的则三五成群地聚拢在一起，威吓、诱惑不明真相的群众，干起抢粮盗窃的勾当。至8月，皖北区土匪已发展到245股，约6100余人，另有散匪2000余人；[40]皖南区土匪也增加到2700余人。土匪武装趁皖北、皖南人民遭遇困难的时候，兴风作浪，为所欲为，危害人民，大有卷土重来之势。
1950年6月15日，中共皖北区委发出《关于加强肃特清匪工作的指示》，要求全区党政军民面对土匪活动死灰复燃的情况，毫不松懈地继续展开剿匪斗争，并坚持“军事清剿、政治瓦解、发动群众组织人民武装”[41]的剿匪方针，完成消灭土匪的任务。皖北区此次清剿土匪的斗争，在剿匪力量上与1949年时有所不同，即剿匪的主力由皖北军区部队及各地公安机关、公安部队和民兵组成，而不是由人民解放军主力部队担当，尤其是充分发挥公安机关和公安部队的治安作用，并在清剿土匪的同时，立即在当地建立民兵武装。这一办法，有力地打击了土匪卷土重来的企图，也彻底铲除了滋生土匪的环境条件。从1950年7月底开始，皖北各地军事、公安机关贯彻“首恶必办、胁从不问、立功受奖”的原则，在各专区、县、区组织治安联防委员会，在县与县结合部建立统一的治安组织，重点清剿交通要道、铁路沿线、城市近郊和县与县结合部的土匪武装，并明确分工，由皖北军区各部队负责清剿股匪，铁路公安部门负责守备铁路，地方公安部门负责侦察匪情和肃清散匪特务。至1950年12月底，皖北地区共实施剿匪行动约300余次，捕捉匪首285人，击毙土匪67人，俘虏土匪7786人，缴获枪6200余支。[42]摧毁的土匪组织有“华中反共军”、“皖北边区反共游击第七总队”、“中华青年反共同盟会”等。
1951年，皖北地区继续展开对土匪的清剿行动。2月23日，皖北军区作出决定：以彻底肃清土匪为当年首要任务。[43]皖北各级公安机关和公安部队将清剿土匪作为维护社会治安、保护人民生命财产安全的中心工作。至当年底，皖北区共歼灭各类土匪9199人，其中包括俘虏8995人，击毙64人，缴获枪6870支。[44]
与此同时，皖北各地建立人民武装的工作顺利展开。1950年10月7日，中共皖北区委、皖北军区党委作出《关于人民武装建设的决定》后，全区各县、区都逐步设立了人民武装部，乡、村成立人民武装委员会。各县、区人民武装部均配备有军事干部、政工干部，负责组织指导本县、区范围内的民兵和军事工作；乡、村人民武装委员会组成人员都是中共党员、青年团员和贫雇农骨干；成立基干民兵队伍，配备一定数量的武器弹药。到1951年春，皖北军区民兵已发展到81.92万人，其中基干民兵38.59万人。[45]民兵队伍及其领导机构的建立，不仅有利于彻底铲除土匪势力，而且起到有效地保卫新生的农村基层政权的作用。
皖南地区1950年的剿匪斗争，是以8月中共皖南区委、皖南军区发出《关于秋冬两季剿匪肃特保卫土地改革的联合指示》为标志。在此之前的6月和7月，皖南军区所属各部队和皖南各级公安机关、公安部队，配合农村土地改革工作，一方面宣传党的剿匪方针原则，一方面发动群众参加剿匪。8月以后，全区范围的剿匪行动在人民群众的参与下，取得全面进展。尤其是公安侦察人员，在获得人民群众提供的匪徒活动情报后，立即展开行动，捕获众多散匪。至年底，皖南地区共歼匪1355人，其中俘虏匪徒801人，毙匪126人……宣城专区作为此次剿匪重点地区，共对匪作战60次，搜捕行动1560次，歼匪达1245人。[46]
1951年，皖南地区的剿匪斗争继续保持高压态势，全区共剿灭土匪1200人，其中被俘和投诚的达1113人。[47]区内的散匪早已群龙无首，成了惊弓之鸟，终日胆战心惊、四处躲藏，少部分逃往皖浙赣交界的深山密林中，大部分被迫放下屠刀。
皖南区剿匪斗争的深入开展，有力地保证和促进了农村基层政权的建立。从1949年8月开始的皖南区改造和建立农村基层政权的工作，至1950年12月已经基本完成。全区农村基层政权全部进行改造，废除了旧社会遗留的保甲制度，建立了行政村，其政权机构称为村行政委员会，一大批农村剿匪积极分子、贫雇农和进步青年，参加到村行政委员会中，巩固了中国共产党和人民政权在农村基层的地位。
剿匪斗争的持续进行，也有力地促进了皖南区民兵队伍建设。1949年底，皖南区民兵队伍仅有不足8万人，且大多没有配置武器。1950年初，皖南军区落实“民兵工作由部队负责领导”的指示，抽调大批干部到农村，对民兵组织进行系统全面的整顿、提高。到1951年春，皖南军区民兵已发展到42.65万人，其中基干民兵10.89万人，并配备相应数量的武器弹药。[48]从而有效地遏制了滋生土匪的条件，巩固了剿匪成果。
从1949年4月皖北、皖南解放到1951年底，皖北、皖南两区共计剿灭土匪5.1万余人，摧毁土匪组织200多个，缴获枪3.6万余支，剿匪斗争取得了全面胜利。1952年安徽恢复建省后，尽管在某些偏僻农村山区还有极少数零散的土匪活动，但早已是苟延残喘、一步步走上绝境。土匪武装——这个近代以来祸害安徽社会稳定和发展的毒瘤，终于在中国共产党及其新生的人民政权坚决清剿下，退出了历史舞台。
