小站练兵之初，袁世凯是请荫昌为他推荐军事骨干的，荫昌从北洋武备学堂毕业生中推荐了王士珍、冯国璋、段祺瑞、梁华殿四个人。梁在一次夜行军中溺水淹死了，袁世凯手下只剩下王、冯、段三个人。现在，王士珍为工兵学堂总办兼工兵统带，冯国璋为步兵学堂总办兼督练营务处总办，段祺瑞为炮兵学堂总办兼炮兵统带。学堂都是随营设立的，基本上是边练兵边培养亲信。袁世凯的势力越扩越大，骨干人员也越来越多，后来又从武备学堂中招收了段芝贵、吴长纯、徐邦杰、何宗莲、赵国贤、马龙标、王英楷、杨荣泰、曹锟、王占元、陈光远、卢永祥、田中玉、张怀芝、陆建章、孟恩远、雷震春等。这些人，有的是封建文人，有的是科场中失意客，有的是乡村无赖。之外，还有清政府调送的淮军中部分带兵的人，如姜桂题、夏章酉、张勋、倪嗣冲、赵倜等。袁世凯从山东调任直隶总督之后，立即在保定成立了督练公所，成为他在直隶训练新兵的机构、北洋骨干中资格最老的三大员便另有重任：段祺瑞为参谋处总办、冯国璋为教练处总务，王士珍为直隶全省操防营务处督理。由于袁世凯还兼着北洋大臣，他就索性把这支军队改为“北洋新军”。
袁世凯在山东的时候，曾请德国军官观操。那个德国人见王、段、冯三将指挥有方，便用马鞭子指着他们说：“你们不愧为杰出的将才！”洋大人发了话，他们便自封为“北洋三杰”了。后来军中一步一步地把三杰形象化了，他们以王士珍是“三杰”第一名，为龙首，他在政治舞台上，又是个时隐时现的人物，所以称为龙；段祺瑞性暴如虎，又在山东立了大功，有虎将之称，故称虎；而冯国璋体型有些狗头狗脑，故称他为狗。“北洋三杰”便形成了王龙、段虎、冯狗之称。
段祺瑞在北洋将领中，是极少数在德国镀过金的人，当时德国是世界上陆军最强的国家。因此，段祺瑞处处显示自己了不起，不把别人放在眼里。可是，段祺瑞随袁世凯到了保定之后，却碰到一件十分不称心的事——一天，袁世凯把他叫到总督府，关起门来，二人秘密地磋商起大事。袁世凯说：“现在，国中的形势还算平稳，国际上也没有多大事变。和平岁月，正是咱们练兵扩军的时候。有个形势，不知你看到了没有？”
袁世凯常常是这样，把自己想的东西隐而不发，启发属下说出。而属下说不出时，他再引导启发。段祺瑞摸清了他这个人脾气，也养成了一种对策：能捉摸透的，便顺着竿儿爬，说得袁世凯连连点头，心花怒放；捉摸不透的，便说一点似是而非的见解，诱导袁世凯说明白。这一次，就是他没有捉摸透袁世凯“脉络”的时候，所以，他不无尴尬地笑笑，说：“对于国家大形势，祺瑞一直是孤陋寡闻，再加上祺瑞思绪不敏，自然是大人看得深远。祺瑞只能聆听大人高见，不敢在大人面前信口乱说。”
又是脱身之计，又是高帽。袁世凯自然喜在心头，乐在脸上，他轻轻地晃着脑袋，说：“为了打破分省练兵兵额有限的束缚，我想奏请朝廷恩准，成立中央练兵处，举一位最有权势的皇族大臣来主持练兵。这样还有一个好处，皇族大臣主持练兵了，皇上也会放心。”
段祺瑞豁然开朗：袁大人这样想，既可扩大兵权，又不引起朝廷怀疑。
一箭双雕，妙到极点！忙说：“皇族大臣主持练兵了，袁大人务必要争取从旁协助，成为会办大臣。”
袁世凯会心地点点头，还是说：“那就要看朝廷能否恩准了？”段祺瑞说：“朝廷一定会恩准。凭大人治军之影响，此会办之职非大人莫属！”
“尽人事，听天命吧。”袁世凯说，“这就有许多随之而来的事情要办。
我考虑，首先把咱们的北洋新军先充实扩大一下，奠定了基础。以后，对外说话也有个依靠。”“大人打算怎么办？”段祺瑞问。
“我打算先成立三个协。”袁世凯说，“这样，北洋新军就正规化了。”
“好措举！”段祺瑞说，“事不宜迟，早早抓起。”袁世凯点点头，此事算定下来了。
袁世凯思索扩张军队的时候，国内形势看似平稳，其实，各省、各军队还是很不平静，大家都在争权争势，想扩充自己。袁世凯已经看到，同僚之中，心思各异，互存戒备，不知哪一天，便会出麻烦。因而在扩军、组织自己势力时，他便想努力做到“用人唯公”，显示自己大公无私。所以，他想用一种考试的办法来提拔、重用干部。这事，他并没有同段祺瑞说明，段祺瑞自然毫不知道。结果，事情便出在这上面：
袁世凯在成立第一协的时候，王士珍考取了，他当上了统领；袁世凯在成立第二协的时候，冯国璋考取了，他当上了统领；袁世凯在成立第三协的时候，他当然企望通过考试这一程序，段祺瑞能考取。那样，编制的三协军队统领既都是他的心腹，又是考试录用的，体现了“用人唯公”，谁也无话可说。可是，段祺瑞一连考了两次都没有考取。袁世凯心里焦急了，这怎么办呢？假若这个协的统领被别人夺去了，他袁世凯是不能放心的；再说，段祺瑞往哪里放呢？
段祺瑞更是焦急，军队归编了，编成协了，若是兵权失去了，以后靠什么呢？昔日投考武备学堂和毕业于武备学堂，他都能考出最好的成绩；去德国留学，他依然考出好成绩。现在，要争军权了，他竟两考而落孙山，这不等于明明把军权丢了吗，这可怎么办呢？段祺瑞不能丢军权，丢了军权岂不连人格也丢完了吗？平时，他总是以在德国镀金自足，目空一切。现在好了，镀的金全磨光了，自己只剩下一块烂铜，多丢人呀！现在，回头想想，段祺瑞才明白，正因为留洋镀了金，才放松了上进。今天可好，就给个样儿看看！他虽焦急，却也想不出解救的办法。
正在此时，人传“总督大人请”！
段祺瑞闻得袁世凯请，脑门又一热。是不是再来个面试？面试更难，再考不好，可就一切都完了！他不想去。可是，不去是不行的，丑媳妇不能怕见公婆，硬着头皮也得去。段祺瑞匆匆去了总督府。
袁世凯正在焦急地等着他，二人一照面，袁世凯就开门见山地说：“芝泉，考试是咋回事？”
段祺瑞脸膛发热，说：“祺瑞平时有失检点，粗心大意了。其实，大人出的题目，往日我都是挺熟的。”“我想再考你一次，怎么样？”
段祺瑞尽管脸膛又热，不得不假装镇静。他不情愿地说：“祺瑞沉下心去，好好准备”。
“来不及了。”袁世凯说，“这不是临时抱佛脚的事。”“我今夜通宵达旦……”段祺瑞下决心了。
袁世凯背过身去，不再说话，只把手背过来，说：“拿去吧，今夜好好准备，我明天亲自带人考你！”说罢，便把右手摇了摇。
段祺瑞明白了，匆忙一个上步，从袁世凯手中接过折叠工整的一张纸，一边后退，一边说：“谢大人教诲！”
段祺瑞想着袁世凯给他的，是提醒他要准备读什么书，找什么资料的提示呢。回家一看，原来就是一张考试的试卷。这一高兴，简直要发狂起来。于是，饭不吃、觉不睡，便伏在灯下，翻文找书，准备答案。
次日，果然是袁世凯领着几位京城来的大人面考。段祺瑞有准备了，无论笔试还是口试，都能对答如流。结果，总算渡过了这一关，他自然也考取了。于是，袁世凯堂而皇之地发委任，段祺瑞成了袁世凯新成立的第三协的统领。段祺瑞匆忙到袁世凯那里去表示谢忱，然后走马上任。
段祺瑞过了考试关，王士珍、冯国璋两个统领专程赶来为他道贺，自然免不了说一片“学富五车”、“胸有兵书”、“聪明机智”等等溢美之言。段祺瑞觉得王、冯二位都是知己，昔日情厚，今后还得共事，又都是一个祖宗麾下的部将，不能瞒着他们。于是，便把袁总督“传卷”的事透给了王、冯二人，并且对袁世凯表示了个“受恩深重，终身不忘”的忠心！不料，王、冯二人听罢，都暗自发笑——原来这两位也是“彼此，彼此”！只不过所采取的方法略有不同罢了。
段祺瑞做了北洋新军第三协统领的第二年，即1903年，袁世凯提请中央成立练兵处的奏折获准了。当然，“由皇族重臣来主持练兵”的议奏，也被同时核准。袁世凯本想待奏折恩准后再奏请由荣禄来充当总理这件事，谁知荣禄“无福”，袁世凯的奏折尚未获准时，荣禄竟一病去了，袁世凯不得不匆忙再奏，推举庆亲王奕劻来主持其事，他自己自然还是协办。
朝廷恩准了，派奕劻为督练新军大臣，袁世凯为会办大臣。袁世凯抓到了督练新军的大权，他不待奕劻下手，便在练兵处设机构、派干将起来。袁世凯任命徐世昌为总提调，下边设三个司，王士珍为军正司正使，冯国璋为军学司正使，段祺瑞以直隶补用道充任军令司正使。
这一年，段祺瑞三十九岁，正是年富力强。
人走顺路的时候，什么好机遇都会碰到。段祺瑞作了军令司正使之后，练兵处在袁世凯的操纵下，开始了全国性的大扩兵运动，他决定在全国范围训练新军三十六镇，先在北洋范围成立六个镇，作为示范。其实，就是以北洋为骨干，把全国军队进而化一，成为自己的亲兵。袁世凯雄心勃勃，但又觉得口张得太大，怕吞下去消化不了。他找到段祺瑞，要和他一起商量一个办法。
段祺瑞春风得意，又对袁世凯感恩戴德，梦里都想着为泰山效力。这几年，他能有这几步飞跃，他方才明白沈先生“护官符”提醒的作用，“即便你是好汉，也得结邦！”
段祺瑞坐在袁世凯面前，思索着袁世凯提出的问题，好一阵，才说：
“先在北洋建立六镇，是一步好棋。这样，可以把骨干军队抓紧。我想这还不够，得让所有的镇都有咱的骨干才好。”
“我也这么想，”袁世凯说，“只是用什么办法，尚未考虑出来。”“大人，我想这样，你看行不行？”段祺瑞想起了自己的出身，想起了自己发迹的途径，说，“咱们还办武备学堂。办短期的，一批批往下分。分配给各镇武备学堂学生，这是名正言顺的事。你看如何？”
袁世凯也曾想到这个问题。只是，小站练兵之后，武备学堂渐渐停办了。以后虽然有的省还办，不久还是停了。不做的事情重新再做，用什么名义呢？再说，朝廷会不会答应办全国性的武备学堂？袁世凯拿不定主意。所以，他对段祺瑞的话，没有立即表示可否，只闪了闪眼睛，皱了皱眉。
段祺瑞邀功心急，又说：“大人，别犹豫了，只有这一个办法最理想。
这个办法可以达到目的：军队是朝廷的，军官是咱们的。”
袁世凯终于下了决心，接受段祺瑞的意见。“好，恢复武备学堂。”想了想，他又说，“你来兼学堂总办。”段祺瑞点头答应。
段祺瑞要退出的时候，袁世凯又喊住了他。“你停一停。”
段祺瑞停步，转过身来。“大人，你……”
“我想保荐铁良为京旗练兵翼长，由他选三千旗兵加以训练。”袁世凯说，“你看如何？”
段祺瑞点头说：“好，好！铁良是满族，又是兵部侍郎。把他请出来……”“可以安定皇室之心！”
“我看，还可以奏请设立一个贵胄学堂。”段祺瑞说，“专门培训满族子弟。”
“好，就这样办。”
段祺瑞四十岁任陆军第三镇统制官，编练第三镇军队，从而固定了他自己的军事业基，进而发展成大混战中的一方大军——皖军；他自己，也成为那个历史时期的中国军队首脑，其时间长达二十余年！
段祺瑞的陆军第三镇，堪称是袁世凯军中的嫡系军，驻扎在袁的总督府保定，但把触角伸到奉天、锦州一带；后来又延伸到长春、昌图地区。京畿紧张之后，调回北京。
陆军三镇没有招募新军，全是袁世凯和他一道从小站领到山东、又从山东领到保定的旧有军队。三镇下辖两个协和一个马标，协统和标统当然全是由段祺瑞挑选的自己亲信。他们先后有：雷震春、徐占凤、卢永祥、张永成、徐万鑫、陈文运和张国泰等。次年，段祺瑞又改任第四镇统制。
这得算是一个微妙的调任——第四镇是由留京各营改编组成的，驻扎在京郊南苑一带，兼防天津马厂、小站。这一切都是袁世凯安排的，唯有这个镇的统制吴长纯，袁世凯有点不放心。吴虽然也是北洋中人，但在袁氏的“亲信”册上，吴长纯还没有段祺瑞那样的位置，这个镇又放在京郊，袁当然不放心，他又想到了段祺瑞。着人把段祺瑞找到跟前，对他说：“芝泉，我想让你暂到四镇去。”
“到四镇？！”段祺瑞没有想过这事。觉得他不能离开三镇。“是这样……”袁世凯想的，当然不会隐瞒他的干女婿。他把想法说了一遍，又说：“我也不想让你长在四镇，只要你把那里的事调理好了，将来能够经得住风雨，然后么，当然还回你的三镇。”
段祺瑞是唯袁命是听的。话说白了，他不是为朝廷效劳，他是为袁世凯效劳。他的一切都是袁世凯给的，朝廷赏的花翎，朝廷给的“奋勇巴图鲁”荣誉称号，也是袁世凯为他请来的。他自然得听袁世凯的。他答应了袁的新任命，但他却说出了自己的顾虑：“四镇多是由各地调营编建组成，我只身一人去，只怕……”
“你可以在三镇拣一个厚实的管带。”袁世凯说，“到任之后，还可以把协统的统领调换一下么。”
袁世凯把话说明白了，段祺瑞心上的犹豫也打消了。四十一岁刚到（光绪三十一年，公元1905年），那年正月他便带着自己的马队一营来到陆军四镇上任统制，马队营也随即改成了马标，由他的亲信孟恩远任标统。
段祺瑞在陆军第四镇只干了八个月，到这年八月，他又被调任陆军第六镇统制。袁世凯告诉他：“有一项特殊的任务，非你去不能完成！”
