这种担心直接来自托克维尔。我们在上文曾简单提及托克维尔对密尔的影响。托克维尔著作的重大贡献之一就是注意到现代社会民主化的必然趋势。托克维尔所谓的民主化一方面指的是政治民主，即民主作为政权合法性的基础成为不可阻挡的趋势，另一方面指的是社会平等化的趋势。民主意味着贵族、精英的消失，社会愈来愈以多数的意见作为正确与否的标准。托克维尔将现代性政治的主要特征概括为平等化。传统的欧洲社会是等级制社会，贵族与平民等级森严。贵族不仅代表政治与经济身份，而且也代表精神、道德与文化气质。托克维尔注意到，现代社会的特征是将高贵的拉下来，将低贱的拉上去，使得大家完全平等，不仅政治身份平等，而且在气质、精神上都平等。所谓平等，就是都成了庸庸碌碌之辈，没有任何高贵而独特的东西受到特殊尊重。任何人都不能凭借自己知识上、道德上的优越地位而要求在社会中有更多的发言权。现代社会权威合法性的基础是计算人数，谁得到多数人赞同谁就有合法性，民主政治的本质是多数意见受到尊重而不是知识贵族的意见受到尊重。
密尔在评论《论美国的民主》时，对现代社会这种平等的趋势感到十分忧虑，甚至有一种窒息感。他在写给托克维尔的一封信中谈到，“你的许多观点对我或多或少均有新意，其中我发现你的一个重大的一般结论和我多少年来独立秉持的一个结论……完全一致，即民主的真正危险，真正需要利用人类的所有资源与之斗争的恶魔……不是无政府状态，不是追求变革，而是中国式停滞不前”。[33]密尔在《论自由》及其他若干场合都表达过对西方可能步入“中国式停滞不前”的担忧。从某种意义上说，密尔在《论自由》提出的主张就是对托克维尔所诊断的现代社会病状所开的药方。
除了洪堡与托克维尔外，密尔的妻子对密尔个性理论的影响也不可低估。哈莉特是一位相当有个性的女性，浪漫、激进且有敏锐的思想。密尔受妻子的影响集中表现在《论自由》和《妇女的屈从地位》两本书中。一方面，妻子的浪漫气质和理想主义风格显然感染了密尔。密尔在《论自由》卷首的献辞中提到妻子“对真理与正义有高贵的感悟”，具有“伟大思想与高贵情感”。《论自由》中着力赞颂的个性、自主性、人的全面发展显然抹不去妻子的影子。莱恩在研究密尔的专著中还提到哈莉特的另一个影响，这就是，《论自由》和密尔其他著作相比具有超乎寻常的雄辩特征，这与哈莉特争强好胜、喜欢争辩的个性不无关系。[34]此外，密尔传记作者帕克指出，哈莉特在1830年出版的《论宽容》中的许多观点构成密尔《论自由》的核心内容，其中最重要的是对现代社会平庸化的恐惧。哈莉特担心这种平庸化将危及个人的创造性与独立思想。[35]最后，还应提及的是，密尔与哈莉特之间不寻常的爱情不仅受到密尔父亲及家庭的反对，也受到英国上流社会的非议。密尔对自己个人生活遭受非议的反感强化了他对公众舆论所施加的多数人暴政的厌恶，他曾明确表示，英国维多利亚时期中产阶级有一种超乎寻常的体面和名望观念，这种观念导致大众对不合常规的行为极不宽容。与英国相比，法国和意大利等拉丁文化国家尽管在政治方面更具压迫性，但在社会方面却较少压迫性。[36]在论及个性时，需要注意的是，在严格意义上，个性和自由是两个不同的概念。如果我们接受伯林关于消极自由与积极自由的区分的话，个性应该属于积极自由范畴，它并不简单地意味着个人有权去做自己喜欢做的事情而不受其他人的阻挠，它还意味着，个人能够真正按照自己的个性去追求自己的自主性，而将世俗的、社会的观点置于一边。按照伯林的逻辑，如果强调个性发展时将重点放在个人的内心世界，强调追求真正的自我，那么强调个性可能会导致压制个人消极自由的结论，出现所谓“强迫自由”的说法。[37]
但是，密尔对个性的强调是和他的自由原则紧密结合的，密尔讨论个性的重点不在于个人的内心修养，而在于防止政治、法律与社会对个性发展的压制。密尔整整一章几乎没有提到追求个性发展的责任在于个人，在于个人不畏强权，不畏流俗，不畏多数人的暴政，坚持自己的个性与创造性。密尔的全部文字都集中在讴歌个性的价值，争辩社会应该允许个性的发展。他给人的印象是，只要政治、法律与社会保持对多元化个性的宽容，社会就会充满个性、自主性与创造性。正是这种方式的讨论使密尔的个性观成为他自由理论的有机组成部分，而不是毫不相关甚至互相冲突的部分。
密尔在讴歌个性时，强调个性是“个人进步和社会进步中一个颇为重要的因素”。一方面，对个人发展而言，尽管密尔在《论自由》中很少承认自由具有内在的价值，但在讨论个性时，却认定个性具有“内在的价值”，“值得为其自身的缘故而给予关注”。[38]密尔甚至认为，个性乃是人之为人的不可或缺的要素。他写道：“一个人到能力接近成熟时，以自己的方式运用并解释经验，这是人的特权和正当条件。”[39]这里的两个词，“人的特权”、“人的正当条件”值得反复玩味。如果某些人缺乏个性，“他们作为人的能力凋零枯萎了；他们已经没有能力再有什么强烈的愿望或天生的快乐，一般也没有各人自己长成或恰属各人自己的观点或情感。”[40]密尔将个性抬高到如此地步，缺乏个性就是没有自己的观点，就没有自己的真正感情，就没有真正的快乐，换句话说，人就是行尸走肉。
密尔坚持认为，具有个性不仅是个人自身发展的必要条件，也是社会乃至整个人类发展不可或缺的动力。密尔的基本逻辑是，如果一个群体是由有个性、有生命、有活力的个人组成，这个群体就会充满活力与生命。“随着个性的发展，每个人变得对自己更有价值，因而也能对他人更有价值。他自己的存在有了更加充实的生命，而当单元中有了更多生命时，由单元组成的群体也就生命繁茂。”[41]
当然，密尔深知，现实社会中不可能所有人都有个性，社会大多数人只能是庸庸碌碌的众生。密尔强调个性的真正重点是那些具有超常个性与创造性，可能造福社会与人类的少数精英。人类从远古发展至今，受惠于那些具有首创性的个人，他们“发现新的真理”，“开创一些新的做法”，“这些少数人恰似地上的盐，没有他们，人类生活就会变成死水一潭”。[42]
为了在民主化的平庸社会给那些精英留下成长的空间，密尔呼吁社会尽最大可能对那些生活方式、行为方式、思维方式与众不同的人保持宽容，为他们创造一个自由的环境。社会应该宽容那些有强烈欲望、激情、活力乃至冲动的人，欲望与冲突是制造英雄的材料，“富有精力的人也永比无精神无感觉的人可以做出较多的好事”。社会要容忍那些具有“趣味上的独特性，行为上的怪僻性”的人。他甚至说，“一个社会中怪僻性的数量一般总是和那个社会中所含天才异禀、精神力量和道德勇气的数量成正比的。今天敢于独行怪僻的人如此之少，这正是这个时代主要危险的标志。”在密尔看来，只有怪僻的人才可能是天才，“有天才的人，顾名思义（exvitermini），比任何其他人都具有更多的个性———因而也就更不能在没有伤害性压迫的情况下填入少数模子，那种社会为了免去其成员形成个人性格的麻烦而提供的模子”。[43]
为了进一步以实例展示鼓励个性与压制个性所产生的不同后果，密尔举出欧洲的成功与中国的衰落作为佐证。19世纪的欧洲是进步理念占主导地位的时期，欧洲人从不同角度总结自身成功的经验，作为失败的例子，中国不幸也列入其中。在密尔的时代，进化论的出现，种族主义的兴起，优生学的滥觞，都被用来解释白人优越性的原因。与这些解释不同，密尔的解释体现了自由主义者的信念：欧洲的成功在于自由、在于个性与多样性，中国衰落的原因是缺乏自由、个性与多样性。密尔认定，欧洲成功的原因在于多样性与差异性，“个人、阶级、国族之间，彼此都极不相像”。[44]多样性是欧洲进步的源泉。与欧洲相比，中国衰落的根源在于其趋同性。密尔在不同场合以中国作为负面例子，教育欧洲人防止堕落到中国的境况：
我们有中国这个前车之鉴。中华民族富有才能，在某些方面甚至也富有智慧，由于遇到了难得的幸运，在早期就配备了一套特别好的习俗，这是一些人的杰作，在某种程度上，即使是最开明的欧洲人也必须（在一定的限制条件下）尊称这些人为圣人和贤哲。……做到这一点的人民无疑已经发现了人类进步的奥秘，必已牢牢地站在世界运动的前列。恰恰相反，他们已经变成静止不动的了，维持现状达数千年之久；如果说他们还会有所改进，那必定是外人做的。他们在我们英国慈善家们正如此辛勤劳作的方面已经大获成功，超乎人们的期望，这就是使一个民族人人都雷同，以同样的格言和规则来管制他们的思想和行为；而这就是成果。[45]
当然，我们也许不会接受密尔关于中国几千年原封不动的诊断，但密尔将中国近代的衰落归于缺乏自由和多样性，这还是值得我们思考的。
六、自由原则的运用
在讨论了个性问题之后，《论自由》第四章和第五章集中讨论“社会对于个人的权威之限度”以及群己权界原则的应用。大体而言，这两章是导论中所提出的“极简原则”之展开与细化。在阅读了密尔关于个性的激情洋溢的讨论后，读者可能会有一种从抽象的形而上学的巅峰突然掉到具体事务的谷底感。不过，从另一角度看，这两章所展示的细腻、平衡、严谨而理性的论证方式正是典型的英国法律人的论辩风格。惟其如此，密尔这两章中关于自由及其界限的论述成为英国法哲学的重要文献。
如前所述，密尔在《论自由》“导论”中将个人的行为划分为涉己和涉他两部分。现在，他再一次重申在“导论”中表达的自由原则：“生活中主要涉及个人的那部分应当归属个性，主要涉及社会的那部分应当归属社会。”[46]
不过，“极简原则”貌似简单，在实践应用中却绝非易事。任何社会都必须在进步与秩序中求得平衡，对于密尔这样一位自由主义者而言，也必须找到这种平衡。自由主义不同于无政府主义，自由主义尽管强调个人自由的价值，但个人自由也必须有限制，必须有权威的存在。如何确定个人与权威之间的权利分界是自由主义必须处理的核心问题。
在处理群己权界问题时，密尔首先界定了个人的责任或义务。个人必须在社会中生活，依靠社会获得安全与保护，因此，个人必须遵守某些行为规则。个人对社会的基本义务有两条：第一，不伤害他人利益。密尔的原话是“不损害各自的利益，或者毋宁说不损害法律明文规定或默认理解中应当认作权利的某些利益”。第二，“每人在保护社会或其成员免遭损害和阻碍而付出的劳动和牺牲中承担自己的份额（以某种公平原则予以规定）”。我们可以将纳税、服兵役理解为这类行为。这两类行为是个人对社会的基本责任，如果个人未能履行这些责任，“社会有理由以一切代价去实行强制”。第三，除了上述两类需要负法律责任的行为外，“个人的行动有可能伤害他人，或者未给予他人的福祉应有的考量，但又未达到侵犯其任何既得权利的程度。这时，尽管不是通过法律来惩罚，也应正当地通过舆论来惩罚”。[47]
在这些责任和义务之外，如果“当一个人的行为并不影响除自己以外的任何人的利益时”，或虽影响他人利益但得到对方（指成人）的同意，“每个人应当拥有采取该行动并承当其后果的完全的自由，无论是法律的还是社会的自由”。[48]
为了更清晰地阐释密尔的自由原则，英语世界的不少研究者将密尔提到的两类行为称为涉他（other-regarding）行为和涉己（self-regarding）行为。[49]不过，需要提及的是，尽管密尔的理论在事实上包含如此区分，但密尔本人仅使用过“涉已”的说法，并未用过“涉他”这个术语。
