1.重回老家拾旧部，受师命组建淮军
安徽合肥是李鸿章的老家，他的亲朋好友都在那里，李鸿章在曾国藩府上待了几年之后，为人更加成熟，名声自然在外，很多人都知道有李鸿章这号人物。李鸿章回家招募部队，没有费多大心力便卓有成效。那些兵勇也是一呼百应，纷纷聚集到李鸿章手下。
李鸿章将合肥西乡里的一些比较有名的团练都聚集在一起，这些比较有名的民办团练负责人有周公山下的张树生、张树珊兄弟，大潜山北的刘铭传，大潜山西南的唐氏兄弟，紫蓬山的周氏兄弟等。除此之外，还有解先亮、叶志超等人领导的官办团练。而在这些团练中，最善于打仗的是张氏兄弟、刘铭传和周氏兄弟的三支。
当时，张树生听说李鸿章辅佐曾国藩，曾写信给曾国藩表达过自己的豪情壮志，他有意和周氏兄弟、刘铭传一起做出点惊天动地的大事。曾国藩看了张树生写的信后，对李鸿章说：“张树生就好比渡江北伐匈奴的东晋名将祖逖。”由于张树生的年龄在这三支团练的领导人中最长，因此他是其他两人的大哥。所以张树生对李鸿章表示了投效之意后，大家也都纷纷表示赞成。
此时的李鸿章并未返归故里而是坐镇安庆，通过写信或派人联络等办法，征召庐州一带旧有的团练。李鸿章在安庆召集的团练中，最早编练的就是张树生统率的树字营和刘铭传统率的铭字营。不久之后，周氏兄弟的盛字营和李鹤章招募的人也纷纷聚集在李鸿章手下。至于李鸿章的学生潘鼎新、吴长庆，他们的队伍则分别被编为鼎字营、庆字营。由于多方的配合，在短短的两个月之内，李鸿章就成军数营。
同治元年（1862年）2月，李鸿章所募淮勇陆陆续续抵达安庆，其中有张树生的树字营，刘铭传的铭字营，潘鼎新的鼎字营，吴长庆的庆字营等。其中，除了树、铭、鼎、庆等四营外，还有张遇春统领的春字营，它属于李鸿章在皖北办理团练的旧部，现在重新归于李鸿章指挥。
树、铭、鼎、庆等各支队伍在安庆聚集之后，曾国藩提出要接见这些团练的头目。1862年2月22日，李鸿章率领部属驻扎在安庆北门城外，亲自来向曾国藩道贺。当张树生和刘铭传等十几个主要团练负责人来到曾国藩的大厅之后，曾国藩躲在屏风后面一直不出来，却暗中观察各人的反应。其中张树生反应最平淡，而刘铭传则早已丧失耐心，一直破口大骂。经过分析，曾国藩认为张树生和刘铭传都是不可多得的将才，因此出来与他们见面后，吹捧说：“诸君皆人杰也，今日之会，天其有意致中兴乎？”于是他们在餐桌上畅谈用兵的方法以及怎样镇压太平军的计划。
由于李鸿章招来的人马大部分是新勇，缺乏实际的作战经验，而且人数也不多，保护上海是备显艰难。李鸿章心里十分明白这些困难，因此他向老师曾国藩诉说了这些困难，并且恳请曾国藩调拨数营湘勇，以增强战斗力。曾国藩考虑一段时间之后，答应了李鸿章的请求，陆续地给他调拨了湘勇八营，并由他亲自指挥。这八营湘勇，包括曾国藩的两营亲兵，由韩正国统领，充当李鸿章的亲兵；还有借自曾国荃的两营湘勇，为程学启统带；由滕嗣林、滕嗣武统带的林字两营，原为江苏巡抚薛焕在湖南招募，经曾国藩筛选千人，编入淮军；还有陈飞熊统带的熊字营、马先槐统带的垣字营，这两营湘勇原本是曾国藩在湖南召集而来，归陈士杰统领，但是由于陈士杰不愿前往上海，因此这两营兵勇拨归淮军。就这样，淮军粗具规模，一共13个营，共有6500人。1862年3月4日，李鸿章陪同曾国藩检阅铭、鼎、树、庆和程学启、腾嗣林等营，它标志着淮军正式建成。
从此以后，李鸿章有了一支属于自己领导的武装，这支军队是李鸿章能够在风雨飘摇的晚清政治军事舞台上立足30多年而不倒的实力保障。
李鸿章组建淮军，虽然在曾国藩的支持下比较顺利，但是也遇到了很多困难。主要表现在三个方面：一是军心不稳；二是粮饷不够；三是缺乏统帅。这三项因素导致退伍的人很多，但是，总的说来，淮军的建立对于曾国藩、李鸿章来说是利大于弊，它不仅壮大了湘军的力量，还让李鸿章拥有了兵权，并且对镇压太平军、捻军等都起到了很大的作用。
湘淮“本系一家，淮由湘出，尤育水源木本之谊”。因此说湘军和淮军有着基本的一致性，特别是营制饷章、编制训练以及武器装备上，它们是一脉相承的。并且湘军和淮军只听从曾国藩或者李鸿章的指挥，完全成为了“曾家军”或者“李家军”，所以其他省区的将帅根本无法指挥调动，即使是清政府也不能直接调遣。虽说如此，但是由于淮军是仓促集合而成的，与湘军比较，仍旧有着不同的特点。
湘军初创之时，兵将都来自湖南，它的组建原则是“选士人，领山农”。并且将领是那些怀着“修身、齐家、治国、平天下”的地主知识分子，他们利欲熏心而政治地位又不高，但是他们“忠君”的思想极为浓厚，因此曾国藩就以忠君报国的思想为精神支柱来统率湘军。而淮军的成分则比较复杂。李鸿章虽然出身翰林，但是他却厌恶那些以科名相标榜的人，他重视人的才华和韬略，对于别人是否出身贫寒、是否有文化都是很淡然，因此盐贩子出身的人和太平军的降将他都敢于任用。所以，淮军在13营的11位统领中，举人、禀生只各一人。程学启品德低下，是太平军的降将；刘铭传唯利是图，是贩卖私盐的头子。这些都说明淮军将领的知识结构要比湘军将领差得多。至于兵勇方面，湘军士兵大多是山村朴实无华的农人，比较单一；而淮军则既有太平军的降将，也有飞扬跋扈的团勇，成员冗杂。因此，淮军在军纪和精神上要远远差于湘军。
总而言之，淮军既是湘军的继承和发展，又有自己的特点，这与淮军本身的历史条件和环境有关，并且它还与李鸿章的建军、治军思想密切相关。
尽管淮军与湘军有着相同或不同之处，但是它最终还是在李鸿章的统一领导下登上了历史舞台。淮军不讲究什么门第、出身、师生纽带等关系，只要你拥有一腔热血，足够忠诚，都能成为李鸿章旗下的淮军将士。这样一来，不仅曾国藩对淮军刮目相看，而实际上淮军也已经成功地“金蝉脱壳”，走上了与湘军完全不同的道路。
淮军已经成立，如何从安庆进军上海又成了一个棘手的问题。因为安庆与上海不仅相距甚远，并且又是太平军控制的地区，其艰难程度可想而知。曾国藩本来计划由水、陆两种方式进军上海，但是陆路的困难又让他放弃了这个想法。后来曾国藩写信给上海的吴煦，经过一番波折之后，终由上海的绅商出资白银18万两，才雇得7艘轮船开到安庆，从而解决了淮军的运输问题。
在离开安庆之前，曾国藩告诫李鸿章要摆正“练兵学战”与“吏治洋务”的位置，并且要李鸿章把军事放在首位。针对李鸿章心高气傲的致命弱点，曾国藩煞费苦心，特以“深沉”二字相劝。还有其他朋友的忠告也都被李鸿章一一记在心头，并喻为“枕中之秘”。李鸿章和曾国藩感觉相当沉重，但是这也标志着李鸿章将正式地进入政治舞台。
1862年4月5日到6月上旬，李鸿章所统领的淮军13营士兵分为三批由安庆顺江而东，最终到达上海。
2.不要钱，不怕死，升任江苏巡抚
李鸿章初到上海，就对这里的浮华之风和官僚作风有了一定的了解，因为当时苏沪绅商急忙赶往安庆求援，而上海当地的官员根本就没有商量如何出兵攻打太平军的计划。李鸿章思考许久，终于明白曾国荃为什么不来上海的原因，因为江苏巡抚薛焕也想把淮军置于他的管辖之下。正因为这样，李鸿章决定静观其变，等了解了上海的具体情况之后，再作打算。
正在这个时候，英军提督河伯和法国领事要会见李鸿章。李鸿章想起老师曾国藩告诫自己的话语：“千万不要借洋兵来‘会剿’太平军，因为洋人都很傲慢，不仅会使自己受辱还会导致不必要的麻烦。”因此，李鸿章在和洋人谈判时，无论是语气还是姿态上都是不卑不亢，虽然淮军的衣衫破旧而受到了洋人的耻笑，但是李鸿章不慌不忙、理智地给出了自己的回答。
任职江苏巡抚的薛焕是李鸿章的顶头上司，虽然李鸿章表面上对他恭恭敬敬，背后却怀着深深的敌意，并且他在与薛焕交谈时总是有意无意地流露出抵制薛焕节制淮军的情绪。为了让李鸿章对自己刮目相看，薛焕和知府李庆深商量对付之计，最终决定要与太平军交战，打几个胜仗给李鸿章看看，顺便打压一下他嚣张的气焰。但是，与太平军交手后，薛焕的军队全军覆没，而李庆深本人也落荒而逃。太平军步步紧逼，并一直追至上海附近，薛焕只能厚着脸皮向李鸿章求救。
1862年4月25日，正当李鸿章准备带领淮军帮助薛焕的时候，朝廷突然下了一道命令，任命李鸿章为江苏巡抚。这在无形之中更加坚定了李鸿章的信心。此时，李鸿章也正面临太平军第二次攻打上海的危险处境，他知道自己必须要守住上海，否则会一无所有，同时，他也知道有太多的眼光正在注视着自己，因此他丝毫也不敢松懈。为此李鸿章给自己提出“不要钱、不怕死”的六字方针，不时地提醒自己，鞭策自己。
由于淮军大部分由穷苦的农民组成，他们不仅穿着破旧，并且行为举止不是很雅观，因此总是遭到上海官绅和洋人的取笑。他们怀疑这支队伍能否担任其保卫上海的艰巨任务。李鸿章对淮军自始至终都实行严格的军事管理制度，加大训练的强度，整顿军中的歪风邪气。在军事训练方面，其内容主要包括阵法操练和扎筑营盘；在纪律整顿方面，李鸿章实行点名制度，每天中午、晚上各点名一次，绝不允许士兵擅自出营，如果有谁吸食鸦片一定会受到严格的处理。正是李鸿章的精心管制和训练，淮军的士气非常高昂，并且他们在李鸿章的鼓舞下，都蠢蠢欲动，准备和太平军交战，一试身手。
当太平军将领李秀成率领十万大军对上海进行第二次围攻之时，上海的英法联军一再要求和李鸿章率领的淮军协同作战，但是李鸿章对他们的要求不予理会，并自己带领淮军进行独立的战斗。1862年6月，由于上海流行瘟疫，因此太平军中有很多人染上了疾病，无奈之下，李秀成决定撤离上海。然而在撤离之前，李秀成率领部队先围攻虹桥的程学启部，李鸿章得知情报后迅速带领队伍前去支援。
这是淮军和太平军的第一次交锋，这也关系到李鸿章的声威和淮军的名誉。当时李鸿章带领的是树字营和春字营等，春字营抵挡不住太平军的进攻就撤退逃跑，而此时李鸿章正坐在虹桥桥头督战。他看到张遇春也在往后撤退，于是就一把抓住张遇春对士兵下令说：“拿刀来，把他的头砍了！”张遇春只好硬着头皮带队继续往前冲。原来，张遇春是李鸿章十分信任的人，也是他的旧部，但是大敌当前，李鸿章却毫不客气了。同年的八月和十月，李鸿章的淮军又和太平军打了两场恶战：由程学启部和刘铭传部分别在北新泾、四江口和太平军对抗。并且获得了完全的胜利。经过虹桥、北新泾、四江口三场战役，李鸿章所管辖的淮军最终守住了上海，这让那些曾经取笑淮军是“乞丐兵”的官绅和洋人不得不刮目相看。
在上海立足之后，李鸿章主要考虑到淮军今后的发展。曾国藩想要将上海置于湘军的控制之下而不是在淮军的控制之下，恩师的这种想法李鸿章却不能苟同，他认为上海乃是重要的枢纽城市，只要控制了上海，就可以控制饷源又便于与外国势力联合，并且淮军是上海官绅请来的，不可背弃。这样说来，上海官绅的人心向背关系着淮军的命运，另一个方面，它也与李鸿章的宦海生涯息息相关。于是，为了维护自己的权益，李鸿章给恩师曾国藩写信，给皇上写奏折，真真假假地陈述自己的理由，最终，清政府同意了李鸿章的请求：用沪平吴。李鸿章为自己确定了一个长期的战略目标，逐步实现他既定的关于军事、学战、吏治、筹饷和洋务等的战略方针。李鸿章下定决心要冲破一切艰难险阻，闯出属于自己的新局面，并且要使出浑身解数，尽早地将农民起义扼杀。
李鸿章在上海立足之后，就开始整顿江苏省的吏治，在人才招募方面也是煞费苦心。李鸿章认为，江苏和其他各省一样，官场腐败到了极点，其中最突出的则是上海。为了捞取钱财，这些官吏相互勾结、巧取豪夺，根本不将国法放在眼里。李鸿章很想将江苏一省尤其是上海官场上的歪风邪气扭转过来，但是他心有余而力不足，腐败集团的势力太大，强龙拗不过地头蛇，他必须耐心地等待。
为了求得淮军的生存，李鸿章采取了“有选择地加以惩治”的办法，力所能及地对吏治进行整顿。对于那些务实肯干、能力出众的人才，李鸿章都加以网罗，比如郭嵩焘、丁日昌等人。除此之外，李鸿章也开始建立自己的幕府，并且很快就召集了一批具有各种各样才能的人。这些人里面有精通数学、天文的科学家，有懂得会计的经济学人才，也有懂得兵法的军事家等等。李鸿章从实际出发，尽力做到人尽其才，其中包括曾经去安庆求助的钱鼎铭也被李鸿章收归旗下，为淮军办理营务。这些人为江苏、为淮军作出了自己的贡献。
