1921年12月底，列宁得了重病，暂时离开了领导岗位。
1922年4月，斯大林被一致选为俄共（布尔什维克）中央委员会总书记，负责党中央的日常领导工作。党中央政治局委员有列宁、托洛茨基、加米涅夫、克列斯廷斯基和斯大林，斯大林是五个委员之一。斯大林又是组织局委员，负责党的组织工作。斯维尔德洛夫去世以后，斯大林主持书记处工作。和托洛茨基、季诺维也夫和加米涅夫等人相比，斯大林资历比较浅，年龄比较轻，只上过中学，但他同样是一位老布尔什维克，斗争经验丰富，对革命无限忠诚，在革命的经历中功绩突出，犯的错误却很少。
当时，托洛茨基负责军事工作，季诺维也夫负责共产国际的工作，加米涅夫负责人民委员会的工作，斯大林负责党的工作，各有分工，互相配合。
几十年以后，有些人说列宁“不同意”斯大林担任总书记，斯大林“背着”列宁作出了决定。历史档案证明，参加会议的人也证明，是列宁亲自提名斯大林担任党的总书记的。
担任总书记以后，斯大林用了很大精力整顿党的各级组织，挑选和安排干部，把一批批经过国内战争考验的年轻干部充实到各级领导岗位。领导岗位上出现了许多新干部，例如莫洛托夫、古比雪夫、基洛夫、伏罗希洛夫、奥尔忠尼启则、卡冈诺维奇、米高扬等人，他们都经历了十月革命和国内战争的考验，在重大的问题上拥护列宁，支持斯大林。
斯大林用很大的精力继续处理复杂的民族问题，他处理有些问题过于简单化，打击面过宽，引起了列宁的不满和尖锐的批评。在起草苏联宪法时，列宁对斯大林的一些意见有不同看法。在对外贸易问题上，斯大林主张放开，而列宁主张国家集中控制。这些都是工作分歧，也暴露了斯大林的一些弱点：他对同志态度粗暴，和一些同志发生过激烈的争论，有时是争吵。处理问题比较简单，比较热衷于通过行政手段，而不是反复的研究讨论取得一致。对这些问题，列宁深入地进行了思考，想得很多、很深、很远。
列宁的病情越来越严重，病情略有好转，他迫不及待地重新工作，每一次却病得更重。在病中，列宁关心着党和国家的重大决策，努力把握着党和国家的总方向。沉重的病痛折磨着他，他渴望着回到工作岗位上，在他休养的莫斯科城外的高尔克村频繁地会见各位领导干部。
斯大林多次到高尔克村看望列宁，对列宁怀着真挚的感情。1922年9月，在写给《真理报》的文章《列宁同志在休养中》里，情真意切地记录了和列宁难忘的会见：
“7月，我和列宁同志别离一个半月以后第一次会面时，他留给我的正是这种连续打仗以后疲劳万分，休息以后精神焕发的老战士的印象。虽然精神已经恢复，但是还看得出疲劳过度的痕迹。
列宁同志讽刺地说道：‘我不能看报，不能谈政治，我竭力躲开掉在地上的每一片纸，因为我怕它是报纸，怕因此违反纪律。’
我哈哈大笑起来，极力称赞列宁同志的纪律性。同时，我们把医生们也嘲笑了一通，他们竟不了解，既然允许职业政治家会面，他们就不会不谈政治。
列宁同志那种如饥似渴地打听各种问题的精神，急于要做工作的不可遏止的热情，简直使我惊讶。
一个月以后，我所看到的情况已经完全不同了。这一次，列宁同志周围堆满了书报（医生已准许他看报，也不限制谈政治了）。不再有疲劳过度的痕迹了。急于要做工作的神经质的热情也没有迹象了——饥渴已经过去了。他完全恢复了镇静和自信。我们亲爱的伊里奇眯着眼睛，敏锐地瞅着同他谈话的人。
这一次，我们的谈话也更为生动了。”
摄影师为列宁和斯大林在高尔克村亲切交谈拍下了照片，列宁穿着外套，斜倚在椅子上，安详地说着什么，斯大林穿着白制服，坐在列宁身边，倾听着列宁谈话。
1922年12月，列宁又一次严重中风，右臂和腿瘫痪了，他躺在床上不能动，心里仍然惦念着工作。
医生不让列宁读书，不让他看报，不让他过多会见来访者，不让他谈论政治，列宁感到无比苦恼。在激烈的政治风浪中搏斗了一辈子的革命家，天天只能看见四堵墙壁和白色的窗帘，太难受了！那么多的工作，那么多的问题需要处理呢！
重病期间，列宁对党的工作、政府工作、文化工作想得很多，写了一批文章和指示。握不住笔的时候，列宁向秘书口述，让她们作记录。这些都是列宁留给后世的宝贵财富。列宁想得最多，最让他不安的，是接班人的问题。
列宁知道自己的病情越来越严重，将来，谁担任俄国革命的舵手呢？谁是布尔什维克党的核心领导？当时，布尔什维克党中央政治局由列宁、托洛茨基、季诺维也夫、加米涅夫和斯大林组成的，布哈林、李可夫、皮达可夫等人是政治局候补委员。列宁和他们共事了几十年，对每一个人都很了解，每个人有长处，也有弱点；有才华，也有不足。
列宁想到托洛茨基，托洛茨基是十月革命中彼得格勒武装起义的指挥者和内战中红军的领袖，确实有出众的才华，但是，正像很多人指出的，托洛茨基太“傲慢”，盛气凌人，难以合作。在国内战争时期托洛茨基和斯大林发生过多次意见分歧，争论得很厉害，两个人的关系远远谈不上友好。
列宁又想到斯大林，作为列宁的战友，斯大林从最基层的革命工作做起，积累了丰富的经验，也有崇高的威信，但是列宁认为斯大林也有一些相当严重的缺点。
列宁决定把自己的意见留下来，告诉党的代表大会。由于病痛的折磨，他不能写字，也不能集中精力迅速做完这个工作，从1922年12月到1923年2月，列宁每天口述，他的秘书沃洛季切娃、福季也娃等人作记录，斯大林年轻的妻子阿利卢耶娃也是列宁的秘书之一，她也参加过这个工作。列宁的这些谈话的记录被秘书加了一个标题：《给代表大会的信》，后来，人们称之为著名的“列宁遗嘱”。
在《给代表大会的信》中，列宁担心党的分裂，提出在党内进行政治改革的设想，增加中央委员的人数，保证党的稳定。
在口授中，列宁全面而谨慎地评论了党的主要领导人，分析了他们的优点和缺点，提出了重要的意见。很大篇幅谈的是斯大林，肯定了他的长处，也指出了他的不足。列宁指出：
“斯大林同志当了总书记，掌握了无限的权力，他能不能永远十分谨慎地使用这一权力，我没有把握。另一方面，托洛茨基同志不仅具有卓越的才能，也许他还是现在中央中最能干的人，但是他过分自负，过分热衷于事情的纯粹行政方面。”
列宁的心情是沉重的，也是痛苦的，他谈到每一个战友的优点，也谈到不足，他担心这些不足和缺点给革命事业带来严重的损失。列宁真诚地希望他们改正自己的毛病，克服缺点，增强团结。最让列宁担心的是将来斯大林和托洛茨基之间的冲突，甚至是分裂。他说：
现时中央两位杰出领袖的这两种特点会出乎意料地导致分裂，如果我们党不采取措施防止，那么分裂会突然来临的。
列宁专门口授了一大段话：
斯大林太粗暴，这个缺点在我们中间，在我们共产党人的来往中是完全可以容忍的，但是在总书记的职位上便是不可容忍的了。因此，我建议同志们想个办法把斯大林从这个位置上调开，另外指定一个人担任总书记，这个人在各方面同斯大林一样，只是有一点强过他，就是更耐心，更忠顺，更和蔼，更关心同志，少任性等。这种情况看来可能是微不足道的小事。但是我想，从防止分裂来看，从我前面说的斯大林和托洛茨基的相互关系来看，这不是小事，或者说，这是一种可能具有决定意义的小事。
列宁的秘书沃洛季切娃记录列宁遗嘱，她回忆当时的情景时说：“当我回到秘书处的时候，已经很晚了。我坐在椅子上，心情十分沉重。列宁的这封信使我万分不安。”
将近一百年来，人们对列宁的遗嘱作了各种各样的分析研究。有人说，列宁对斯大林完全失望了。也有人说，列宁坚决要求马上撤斯大林的职。我们细心看一看，列宁的遗嘱确实对斯大林提出了严厉的批评，但是，这是同志之间的批评。在列宁看来，在革命的历史上，斯大林没有犯过严重的错误，斯大林对革命的忠诚，他的工作能力，都没有问题，但是列宁对斯大林的性格和工作方式并不满意，他真诚地希望斯大林改正自己的缺点。
在列宁重病期间，党内又一次面临着分歧和争论，有人尖锐地批评新经济政策，说向资产阶级让步过多，有丧失革命成果和复辟资本主义的的危险。1923年秋天，托洛茨基尖锐地批评党中央的书记处“官僚主义”、“僵化”等，引起了很多人不满。托洛茨基还为派别活动辩护，希望取消党内禁止派别活动的决定，也引起很多人反感。
在1924年1月16日至18日召开的俄共（布尔什维克）第十三次代表大会上，政治局委员季诺维也夫、加米涅夫和斯大林站在一起，严厉地批评了托洛茨基。斯大林批评托洛茨基鼓吹绝对民主是“放纵小资产阶级的自发势力”，“损害中央委员会”，他说：“反对派的派别活动帮助了我们的敌人，帮助了那些想削弱和推翻无产阶级专政的人。”斯大林又说，不应该禁止托洛茨基写文章发表自己的意见。
代表大会谴责了托洛茨基反对派，指出“反对派公然违背了俄共第十次代表大会通过的禁止在党内成立派别组织的决定。”大多数党员和党的基层组织纷纷表示支持中央，托洛茨基很孤立。
1924年1月19日，列宁还乘坐雪撬到森林里去看打猎，一心希望恢复健康。两天以后，他的病情急剧恶化，1月21日18点50分，列宁的心脏停止了跳动。
听到了这个噩耗，斯大林、季诺维也夫、加米涅夫、布哈林、加里宁和托姆斯基等党和国家领导人立刻坐上雪撬，冒着凛冽的寒风，穿过茂密的森林，连夜赶到高尔克村。
瞻仰列宁的遗容以后，斯大林等人急忙赶回莫斯科，召开了中央委员会的紧急会议，通过了《告全党和全体劳动人民书》，研究治丧工作。1月23日上午，斯大林和同志们一起把列宁的灵柩抬出了高尔克村，下午，他在工会大厦为列宁守灵。70万苏联工人、农民和红军战士含着热泪从列宁的遗体旁走过，向列宁告别，深切地怀念这位伟大的巨人。其中有世界各国的共产党人，有中国共产党人，有越南共产党人胡志明（当时的名字是阮爱国）。
1月27日，在莫斯科的红场举行了追悼大会，加里宁首先致悼词，然后是列宁的夫人克鲁普斯卡娅、季诺维也夫、斯大林和布哈林致悼词。全国所有的工厂、火车、轮船的汽笛齐声拉响，长鸣五分钟，向伟大的革命领袖致敬，致哀。
斯大林不顾克鲁普斯卡娅等人的反对，决定在莫斯科的红场建造列宁墓，永久保存列宁的遗体，供人民瞻仰。斯大林深深知道，保存列宁的遗体，就等于保存了一面革命的旗帜，宣扬伟大的理想，增加了强大的凝聚力。从1924年开始，莫斯科红场的列宁墓，成为全世界亿万人民的圣地。虽然苏联已经在1990年解体，俄罗斯的领导人撤销了列宁墓门前的礼仪卫兵岗哨，每天仍然有很多人在这里排队，怀着尊敬的心情瞻仰列宁的遗容。
引人注意的是，党和国家的领导人托洛茨基没有为列宁送葬，也没有参加追悼会。他正在南高加索治病、休养，发回了一封电报表示哀悼。有人说他太傲慢，太自以为是，以为列宁去世以后他会担任党和国家的最高领导。托洛茨基不参加列宁的追悼活动，是很不得人心的。
1月26日，在全苏苏维埃第二次代表大会上，斯大林发表了《悼列宁》的演说，这是斯大林向尊敬的革命领袖、敬爱的导师庄严的宣誓：
同志们，我们共产党员是具有特殊性格的人，我们是由特殊材料制成的。伟大的无产阶级战略家的军队，列宁同志的军队，就是由我们这样的人组成的。在这个军队里做一个战士，是再光荣不过了。以列宁同志为创始人和领导者的这个党的党员称号，是再高尚不过的了。并不是任何人都能做这个党的党员。并不是任何人都能经受得住这个党的党员所必须经历的种种苦难和风暴。工人阶级的儿女，在千辛万苦和英勇奋斗中成长起来的儿女——首先就是这些人应当成为这个党的党员。正因为如此，列宁主义的党，共产主义的党，同时也叫工人阶级的党。
列宁同志和我们永别的时候嘱咐我们要珍重党员这个伟大称号，并保持这个伟大称号的纯洁性。列宁同志，我们谨向你宣誓，我们一定要光荣地执行你的这个遗嘱！
在讲话中，斯大林深情地谈到列宁教导的各个方面，表达了继承列宁遗志的决心。
1月28日，斯大林在克里姆林军校学员晚会上发表重要的演说《论列宁》。在演说中，斯大林怀着崇敬的心情称颂列宁是党的“山鹰”，这篇演说的几个小标题是“谦逊”、“逻辑力量”、“不灰心”、“不骄傲”、“原则性”、“相信群众”、“革命的天才”。
斯大林说自己是列宁的学生，他向苏联人民和布尔什维克党宣布，永远遵循列宁的教导，高高举起列宁主义的旗帜，沿着列宁开创的道路前进。
