孔子的童年，并不是在欢笑中度过，而是充满着无限的不幸、困苦和艰辛。
颜徵在虽然为叔梁纥生下了健康的儿子，但在一妻二妾的家庭中，她依然没有什么地位，终日在施氏夫人的淫威下过着忍气吞声的日子。只有牙牙学语的儿子的欢笑声，可以暂时驱散她心头的阴霾。不料孔子3岁时，叔梁纥一病不起，撒手而去。颜徵在对于这个充满敌意的家庭再也没有什么留恋，就带着儿子回到娘家居住的曲阜城中，靠自己纺线织布，种粮种菜，饲养禽畜以及亲友的接济艰难度日。这位无比坚强的女性，可敬的母亲，把自己全部生活的希望寄托在聪颖懂事的儿子身上。
孔子很小就尝到了生活的艰辛，看到了母亲为抚育自己成长而付出的血汗和泪水。后来，孔子特别注重孝道，除了时代的原因外，与他个人的生活经历有密切的关系。为了减轻母亲的负担，为了抚慰母亲孤苦的心灵，孔子很小就帮着母亲干活，挑水、打柴、种菜、放牧，凡是他能干的活儿都抢着干。后来，他多次对自己的学生说，因为我少年时期家境贫寒，所以许多达官贵人认为卑贱的事我都会干。
少年时代的孔子最突出的特点是聪明好学。他不仅在为平民子弟开设的学校里如饥似渴地学习各种知识，而且随时随地注意向周围有学问的人学习。从儿童时代起，他就对当时的礼乐有着特殊的爱好。在与小伙伴们做游戏时，他摆上泥做的俎(zǔ)豆等礼器，模仿大人，练习各种礼仪。鲁国特有的文化气氛和深厚的礼乐渊源，为少年孔子提供了肥沃的土壤和良好的环境，使他如鱼得水，迅速成长起来。
鲁国是西周初年大政治家周公姬旦的封国，起初封地在今天的河南鲁山。周公是周武王的弟弟和主要谋臣，是周武王灭商的谋划者和牧野之战的指挥者之一。武王死后，他辅佐成王，营建东都洛邑，举行二次东征，把纣王之子武庚为首的反叛势力彻底扫平。此后，周公的封地就由河南鲁山移至奄（今山东曲阜一带）。由于周公一直在周王室担任要职，难以亲自治理封地，就派儿子伯禽治理鲁国。因为周公功劳很大，所以成王特赐鲁国一套完整的文物典册，并特许鲁国使用天子的礼乐。这样一来，鲁国就成为西周以来东方的文化中心，以完备的礼乐制度为各个诸侯国所倾慕。春秋时期，吴国的季札出使鲁国，观乐时，对鲁国丰富的传统礼乐发出了由衷的赞美。后来，晋国大夫韩起访问鲁国，观赏鲁太史收藏的《易》《象》《鲁春秋》等典籍，曾经感慨地说：“周礼全在鲁国了啊！”春秋时期的鲁国，以国都曲阜为中心，北至泰山，南临漷水，东括蒙山，西濒大野泽，土地肥沃，物产丰饶，经济文化比较发达。然而，从西周到春秋数百年间，由于鲁国统治者过于拘泥于僵化的礼乐制度，不思改革，致使鲁国的势力处于日趋衰落中。春秋中期以后，鲁国已降为二流小国，与当年实力相当的齐、晋等国相比，已经不可同日而语了。它只能在齐、晋、楚等大国的夹缝中左支右绌，艰难维持。但是，在文化上，鲁国仍然是东方的中心，鲁国特有的文化气氛熏陶着孔子。
大约在15岁前，孔子学习了一般文化知识和射御之类的基本技能。但不久这些就无法满足他对知识的渴求。可由于家境贫寒，孔子没有条件进入为贵族子弟设立的高级学校深造，只能通过自学来提高自己的水平。孔子后来回忆说，我15岁就立志向学了。他从15岁起下工夫学习了《诗》《书》等典籍，同时还学习当时有广泛用途的礼和乐。鲁国的太庙是祭祀鲁国始祖周公旦的宗庙，里边陈列着许多文物古器，是鲁国经常举行政治礼仪活动的场所，因而是了解周王室与鲁国历史和典章制度的重要地方。孔子经常到这里来考察学习，遇有不明白的问题就虚心向他人求教，这使他获得了大量知识。此外，孔子还经常到其他已故鲁国国君的祀庙中考察学习，辨识各种文物典籍，熟悉西周和鲁国的历史，学习天文历法以及地理方面的知识。《史记·孔子世家》记载了他向鲁国的乐官师襄子学习弹琴的故事：
有一次，孔子迷上了一支曲子，反复弹奏，一连十天也不掉换别的乐曲。师襄子听了，认为他弹得已经不错，建议他另换一支。孔子说：“我虽然已经熟悉这支曲子了，但还没有掌握它的技巧。”于是继续弹下去。过了些时候，师襄子告诉他：“你已经掌握了这支曲子的弹奏技巧，可以换一支了。”但是孔子还是继续弹下去，理由是还没有领悟这支曲子的寓意。又过了一些时候，师襄子告诉孔子已经领悟了曲子的寓意，可以换一支曲子了。孔子说：“我还没有领悟乐曲所描写的人物形象呢！”又过了一段时间，孔子突然感悟，站起身来痴痴地眺望着远方，深情地说：“我看到这支曲子描写的人物形象了：这个人身材高大，面目黧黑，眼睛向上，有着统一四方的宏伟志向，这除了周文王还有谁呢？”师襄子听了连连称赞说：“你说得对！这支曲子就叫《文王操》啊！”
这个故事似乎有些怪诞奇异，但其中描述的孔子顽强的学习精神和对音乐超凡的感悟能力，则是真实的。
孔子在自学的道路上不断前进。他孜孜不倦，不耻下问，他后来时常说：“三个人在一起走路，其中必定有人可以做我的老师。”他对自己的好学态度也十分自豪，说：“即使十户人家的小村子，也一定有像我这样讲究忠信的人，只是不如我好学罢了。”孔子不仅有一个好的学习态度，而且有正确的学习方法。他领悟到应该把学与习结合起来，他说：“学习之后再按时温习，不是很愉快吗？”他又把学与思结合起来，说：“我曾终日不食，彻夜不眠，去苦苦思索，结果没有什么益处，不如去学。”又说：“只是读书而不思考，就会迷惘而无所得；只是思考而不读书，就会疑惑不决。”正因如此，他的学问长进很快，所学知识很快超出了当时贵族学校规定的礼、乐、射、御、书（文字课）、数（数学课）等六种科目，成为一个学识渊博的青年，在鲁国渐渐地有点名气了。
就在孔子学问日益长进时，与他相依为命、终日操劳的母亲却一病不起，溘然长逝。这一年孔子仅17岁，母亲还不到40岁。孔子悲痛欲绝，虽然贫穷，他还是竭尽所有殡葬了母亲。由于父亲死时他年纪太小，不知父亲的墓地，就把母亲的棺材停在名叫“五路之衢”的地方，自己跪在那里，恳请知情者讲出父亲的墓址。他的孝心感动了知情人，终于如愿以偿地使父母合葬，了却了一桩心愿。
后来，经过历代帝王的封赏，孔子父母的墓地变成了“梁公林”，那高大的坟茔和庄严肃穆的享殿，掩映在参天的树木之中，作为重要的古迹任人凭吊。
