在衡山的日子久了，自然也就接触到衡山派内部的派系了，各派之间虽没有过分的争斗，但彼此之间看不顺眼，偶尔使个绊子是少不了的。
这些派系里面有些是很严肃的派系，比如衡山里的人可以分为习武派、生意派、做官派。我因不喜读书，自然就不会是做官派的，我父亲是酒坊里的酿酒师傅，自然生意派的人和我亲近一些，但我却是一个彻底的习武派的，大概是因为我脑子简单，学不了生意里的弯弯绕绕的原因。
从这些派系的名字来看，就大概可以知道这些派系里的人以什么为重。我们习武派的人觉得武道才是立派之基，没有衡山武道，衡山派和那些山下的大户人家也就没有什么区别，虽看起来风光，却毫无自保之力。习武派的人还会觉得，那些生意派、做官派的人都是练武没天赋的人，是二等人，毕竟这些生意派、做官派的人多是关系弟子、做工弟子的出身。
生意派的人大概觉得，我们习武派和做官派的都是寄生虫，除了大笔的花钱，什么用处也没有。我之前见过一个做官派的人和生意派的人吵架。做官派的人说：“若是没有我们在官府上做事，为你们打通关节，你们还做个屁的生意。”生意派的人也不甘示弱：“只要我们有钱，就能打通关节。若是没有我们的钱，你们怎么可能做官。”
做官派的人多多少少都有些读书人的清高气，觉得练武的粗俗，做生意的脏臭，平时里总是说，若是没有他们在朝里奔走，我们衡山派也和明教一样，被朝廷定为魔教，人人喊打了。
在我们习武派内部有分了小团体，有莫掌门一派的，也有吕副掌门一派的。虽然莫掌门是衡山派的老大，武功也是最高的，但他平时里总是世外高人的作风，教导弟子的事情不甚上心，拉拢手下的手段也幼稚，导致吕副掌门在衡山内几乎能与莫掌门平分秋色。听吕副掌门说，当年他和莫掌门的师傅只以武功高低来决定谁当掌门，眼光太狭隘了，若是他当了掌门，衡山派早就不会是这种还在衡山一处打闹的门派，现在至少也是称霸整个湖南了。因为我平时里和教我内功的师傅走的进，后来也是向他正式拜师，我就成了莫掌门一派的人物。
生意派、做官派的内部也有这样的小团体。相对来说，生意派内部的小团体之间没有什么大的矛盾，最多只是酒坊主们希望粮商的粮食能便宜些，布商们希望车马行的运费能便宜些之类的矛盾，在易大总管的调和下，这些矛盾虽看起来争得面红耳赤，却都很好的解决了。做官派内部小团体矛盾就大了，每年秀才、举人的名额就那么多，官府空缺的职位更少，为了这些东西，挤得头破血流不说，还挤出了很多肮脏的间隙来。不过读书人就是读书人，争抢的再厉害，明面上却还是一团和气，到哪都以衡山派的出身标榜自己。
衡山派的每一个人都被精细的归到一个派系之中，即使某个人从来没有想过自己是哪个派系，在考虑事情的事情也从来不以某个派系的利益为出发点，也会被旁人强归到某个派系里面去。
除了这些很严肃的派系外，衡山派内部还有一些无聊派系。比如说吃饭的时候有馒头派和米饭派，这两个派系的人总是怀疑对方不吃馒头或米饭怎么吃的饱的；到了放假的时候又会有下山找乐子派和宅在山里派；谈论女人的时候，又会有大师姐最美派和小师妹最美派；衡山女弟子那里又有大师兄最帅派和小师弟最帅派。
在衡山派内部还有一个小的不能再小的派系，只有我和我师父两人，我们是衡山派仅有的内功派。在衡山的日子里，我们两个人都是只练好了内功，别的武功都是练的稀松平常。
后来江湖乱世之中，衡山派经因这些派系分别，走到了分崩离析的地步。当然衡山派没有这些派系分别，可能也逃不了覆灭的命运，但至少过程要好看许多。
现在反思起来，一个帮派之中生出不同派系是再正常不过的，但不同派系之间非要争斗个不停，并且要有你死我活的架势，多半都要怪这些争斗的人目光太狭隘，竟将这一个小小的帮派看做天下。
