1937年6月，在国民党军队将他们从兰州押送西安途中，秦基伟和其他几十名难友，趁敌不备，分散逃入山林。而后，他历尽艰险赶到黄河边，找到了刘伯承率领的“援西军”，回到了党组织的怀抱。秦基伟为此感到庆幸，他常说：“只要能让我干革命，当红军，干什么工作都行。”
“秦大刀”:“把脑袋掖在裤腰上”
秦基伟幼时就特别喜欢习武，伯父送给他一把大刀，虽然锈迹斑斑，但他还是爱不释手。每当夜深人静的时候，他就悄悄跑到村口的那棵大榕树下练刀。久而久之，他的刀法越来越好。在战争岁月中，秦基伟因善使大刀，屡立奇功。
1931年，红四方面军发起黄安战役，秦基伟在红四方面军总部警卫团手枪营任2连连长。战役打得异常艰苦，敌我双方在黄安县城郊的嶂山展开了白刃战，阵地几经易手，情况十分严峻。红11师同敌人混战在一起，师长王树声把师直手枪队和通讯队也组织上阵，同国民党军拼上了刺刀。
秦基伟看着其他部队在前线打得热火朝天，可自己的部队却背着枪提着大刀奉命守护总部，情急之下，竟一脚踹开了营长的门，连声请战：“这个岗老子不站了，老子的连队要打仗！”营长拗不过秦基伟，便答应了他的请求，但条件是：“打仗可以，连队留下，枪也留下，你爱到哪儿就到哪儿。”希望秦基伟知难而退。谁知，秦基伟一腔热血，竟真的提着大刀，只身冲上前线，一仗下来，用大刀结果了好几个敌人。事后，营长拍着秦基伟的肩膀说：“不错，以后就封你为‘秦大刀’！”从此，“秦大刀”的威名在军中盛传。
1983年，秦基伟在接受采访时，谈起那场战斗的情形：“哎呀，那时候急得要死哟，外面打得热火朝天，可我们手枪营却憋着不能动弹。俗话说，养兵千日，用兵一时呀，手枪营平时跟着总部首长，方方面面都比其他部队优越。可是打起仗来你也得优越呀，上面发的一长一短两支枪，还有一把红带飘飘的大刀，可不是为了摆样子好看的，关键时候不见血，还不如烧火棍。当了兵要是打不上仗，还不如不会下蛋的老母鸡。”
1937年，抗日战争爆发，秦基伟所在部队改编为八路军129师教导团。10月，秦基伟受命以“游击战教官”身份乘火车只身前往山西太谷一带组织抗日武装力量。在火车上，一群参加抗日的青年学生围住了他，请他谈一谈抗日的决心。秦基伟用一口浓重的红安县方言说道：“我们这些人，向来把脑袋掖在裤腰上，打白军尚且不含糊，打日本侵略军就更不在话下了。不错，日本侵略军家伙好，枪准炮猛车马快，我们八路军比不上。但是，咱们有个说法，胆小的怕胆大的，劲小的怕劲大的，无论是胆大的还是劲大的，都怕不要命的。此次出征，我们抱着必死决心，跟日本人作战，只有勇往直前之态，断无孬种后退之理。民众尽可放心，只要有八路军在，就没有日本鬼子逞凶的机会。”
此后，不到一个月的时间，秦基伟就组织了300余名爱国青年，亲率“大刀队”攻下太谷县城，夺步枪17支，打出了“太谷抗日游击队”的旗号。
1937年11月，太原沦陷后，“太谷抗日游击队”与另外两支游击队合编成一个“独立支队”，直接受129师领导。秦基伟当司令员，赖际发当政委，对外称“秦赖支队”。这是129师在太行山上正式建立起来的第一支抗日游击武装。1938年春，“秦赖支队”发展到5000余人，在17个县内建立了拥有百余万人口的抗日根据地，威震晋中。
此时，日军占领了太原，对附近地区不断地扫荡，烧杀抢掠，无恶不作。仅在扫荡祁县阀漫村时，就杀害村民23名，奸污妇女40多人。不久，日军占领平遥县城，竟屠杀1000多人，紧接着就在太谷制造了惨绝人寰的“二一八惨案”。噩耗一个接着一个传来，在“秦赖支队”引起了极大震动，秦基伟怒火中烧：“太行山下八路军‘秦赖支队’早已家喻户晓，岂容日寇放肆！”然而日军势大，拥有精良装备的国民党军尚且挡不住鬼子的进攻，因此，秦基伟提出“打！但要智取”。
1938年4月2日晚，秦基伟亲率“大刀队”，配合10个县的军民行动，一夜间斩首100多个汉奸，并在所有被杀汉奸尸体上贴标语：“凡给日军通风报信带路者均同此下场！”接着，在秦基伟辖区内，70余个日伪据点均遭袭击，260多名汉奸被杀，日军也死伤惨重。此招一出，把敌占区搅得一片恐慌，汉奸吓破了胆，再也不敢出门。
从1937年至1947年的10年间，秦基伟一直战斗在太行地区。有人问，战争年代最深的体会是什么？秦基伟不假思索地回答：“不怕艰难困苦，不怕流血牺牲。”几十年来，他就是凭着这股热情投身到血与火的战斗中。
“带兵要爱兵与从严治军是一致的”
秦基伟的青春年华都是在枪林弹雨、硝烟弥漫中度过的。战争的残酷使他切身体会到从严治军的重要性。他说：“严才能出战斗力，严才能出过硬的作风，严才能出人才。治军不严，部队松松垮垮，平时问题多，战时作风就不能过硬。”
带兵打仗，最能检验一支部队的官兵关系和一个军人的带兵能力。秦基伟认为，要带好兵，首先必须爱兵如子，带兵者爱兵与从严治军是一致的，“慈不掌兵”与“慈能掌兵”是可以统一起来的：“从严治军是我们的一条基本原则，要真正做到这一条，必须以爱兵为基础。”
