离开正教中学以后，柯巴在第比利斯附近的地球物理观测站工作了一段时间，不久，他全心全意投入了革命斗争。
20世纪初的俄国，工人阶级已经成长起来了，许多城市出现了学习马克思主义的组织。为了争取经济权利、反对压迫，工人们举行罢工，反抗沙皇的残暴统治。列宁在国外创办了《火星报》，旗帜鲜明地宣传马克思主义，指导工人运动，受到广大工人欢迎。《火星报》像一粒粒火种，点燃了一场又一场烈火。但是，《火星报》要秘密运输才能送到国内，送到工人手中。当年在第比利斯做地下工作的战友们回忆说：柯巴“经常搞到非法的小册子和《火星报》，让我们阅读。但我们谁也不知道，他从哪儿、从谁手里搞到这些材料的。”
1900年5月1日是国际劳动节，沙皇政府不许工人们庆祝这个节日，蛮横地宣布这个节日“非法”。工人们却要隆重地纪念这个节日。柯巴负责筹备格鲁吉亚历史上第一个五一节的纪念活动。他组织了工人纠察队，在红旗上贴着马克思、恩格斯的画像，准备了写着革命口号的横幅。柯巴非常细心，为了让人们都能看懂，横幅上面的标语既有俄文，也有格鲁吉亚文和亚美尼亚文。
5月1日，警察全副武装，戒备森严，第比利斯却没有发生任何事件。大街上静悄悄的，没有一个人游行。警察松了口气。想不到，5月6日上午，铁路工厂的汽笛突然响起来，四五百名第比利斯的工人来到郊外，举行了格鲁吉亚历史上第一次纪念五一国际劳动节的活动。这次活动完全出乎警察的预料，柯巴和几个同志做了热情洋溢的演说，他说，明年我们就不是在山沟里，而是在第比利斯的大街上庆祝劳动人民的节日。大家欢呼着响应他。和他一起筹备这次五一庆祝活动的是铁路工人谢尔盖·阿利卢耶夫，是柯巴亲密的战友，谁都没有想到，十八年以后，斯大林娶了阿利卢耶夫的女儿娜佳做妻子。
1900年的5月1日快要到了，柯巴和他的战友们再次准备盛大的示威游行，他们计划到第比利斯的市中心集会。沙皇政府的警察探听到风声，抢先了一步，3月21日晚上包围了柯巴和他的同事的住所，进行了搜查。柯巴在回家的路上，发现住所周围情况不对，他看到附近有警察的身影，不动声色地改变了路线，躲开了警察的魔爪。从此以后，柯巴转入了秘密工作，成为一个地下工作者，开始了吃不饱饭、睡不好觉，时时刻刻要警惕地躲避警察的生活。
5月5日，两千多名工人在第比利斯市中心举行了五一节游行，警察和骑兵用马刀和皮鞭野蛮地殴打工人，驱散了队伍。14名工人受伤，50多人被捕。柯巴又一次躲过了警察，藏到哥里附近的山区。
列宁在国外知道了这一切，他赞扬第比利斯工人的斗争，在《火星报》上发表了一篇文章：“在第比利斯发生的事件对整个高加索具有重要的历史意义。这一天标志着高加索公开的革命运动开始了。”
有一次，柯巴去一个秘密接头地点和战友们会面。走到门口，他敏锐地发现外面有形迹可疑的人。什么人呢？警察局的密探！退回去已经来不及了，柯巴从容地走进去，冷静地说：“同志们，外面有尾巴。”
几个同志一下子站起来：“怎么办？”
柯巴非常熟悉这里的地形，他对同志们说：“不要紧，咱们换个地方。跟我来。”
大家跟着他来到后面的院子，他把一架梯子靠到墙上，微笑着说：“翻墙过去吧，那边正演戏呢。”
大家一个跟着一个爬上梯子，翻过墙。那边是一个小剧场，观众们都被舞台上精彩的演出吸引，谁也没有发现几个新来的观众。柯巴不慌不忙走到观众席，看见一个熟悉的女工正在看戏，他坐到她旁边，笑眯眯地看着正在演出的喜剧《钦差大臣》。
隔壁的院子响起了敲门声，粗野的叫骂，翻腾东西的声音。警察和密探在屋子里、院子里找遍了每一个角落，也没有找到柯巴。密探赌咒发誓地说柯巴确实走进来了，怎么消失得无影无踪？警察把密探臭骂一顿，发愁回去怎么交代。
柯巴和那位熟识的女工挽着胳膊，说说笑笑地从剧场出来。几个警察还在那里东张西望。
为了揭露沙皇政府，把工人们组织起来，早在1900年9月，柯巴和战友们秘密创办了《斗争报》，这是格鲁吉亚的第一份宣传社会主义的报纸。《斗争报》第一期最上面是《编辑部的话》，明确指出：“只有革命无产阶级才负有解放人类并为全世界谋幸福的历史使命。”这是柯巴亲自写的。
柯巴和战友们在第比利斯巧妙地建立了一个印刷所，印刷机几次转移，后来藏到一口井里，源源不断地印出了一批又一批传单和报纸，点燃了工人斗争的火焰。警察们非常恼火，他们想尽办法，到处搜查、盯梢、跟踪，就是找不到这个印刷所。
柯巴非常重视舆论工具，他在《斗争报》上连续发表文章。第二期刊登了他的文章《俄国社会民主工党及其当前任务》，分析了俄国社会的各个阶级和阶层，揭露了沙皇政府的反动和腐败，探讨了革命斗争的战略和策略。柯巴号召说：“为了能起领导作用，工人阶级必须建立一个强大的政党。”
柯巴已经逐渐成为一个成熟而自觉的马克思主义者。1901年11月，他当选为第比利斯社会民主工党的九个委员之一，这是他第一次进入革命领导机关。
柯巴来到黑海岸边的港口城市巴统，这里有十个大工厂，还有不少小工厂，工人工资很低，生活贫困。柯巴在这里组织工人运动，又建立了一个秘密印刷所，工人运动很快开展起来。
暗探发现了线索，在秘密报告中说：“第比利斯社会民主工党委员会派约瑟夫·维萨里昂诺维奇·朱加什维利（他从前是正教中学的六年级学生）来到巴统，在工人中进行宣传。由于朱加什维利的活动，社会民主工党的组织已经在巴统所有的工厂中出现。”警察决定抓捕柯巴。
1902年3月9日，巴统的各工厂发生了大罢工，六千多名工人参加了示威游行，沙皇的军队向手无寸铁的工人开枪，打死15名工人，打伤54人，五百多人被捕。柯巴亲自参加了这次示威，机智地救出一位负伤的工人，送到安全的地方。当天夜里，他愤怒地写出抗议枪杀工人的传单。3月12日，他把为遇难的工人送葬又组织成为一次游行示威，向沙皇政府抗议。
4月5日，地下党在秘密集会的时候，军队包围了房子，警察突然闯进来。柯巴不动声色，继续抽着烟，对张牙舞爪气势汹汹的警察非常蔑视。这是他第一次被捕。
柯巴被关在巴统的监狱里，后来又转到库塔伊斯监狱。在一年多的监狱生活中，柯巴没有向沙皇政府低头，表现出极度的冷静和克制。每天清早，他坚持锻炼身体，余下的大部分时间用来读书学习。同志们称赞说，他简直把监狱当成了一个学校。在监狱里，柯巴和同志们取得了联系，他满怀信心地写下了一份份传单，庄严地宣告：专制政府的暴行、饥饿，都吓不倒无产者。真理在工人一边。
1903年3月，高加索社会民主工党举行第一次代表大会，这时柯巴正在狱中，没能参加这次大会，由于他的威信和影响，仍被缺席选入高加索联合委员会。
1903年7月，判决柯巴流放，地点是遥远的西伯利亚伊尔库斯克省的新乌达村，时间是漫长的三年。11月，他被押送到冰天雪地的新乌达村。
柯巴从小生活在温暖的格鲁吉亚，西伯利亚的严寒让他难以忍受，这里经常降温到零下四十多度，到处是皑皑的白雪，是无边无际的大森林，许多地方荒无人烟。让他非常高兴的是，他第一次接到列宁的来信。二十多年以后，斯大林在接见克里姆林军校学员时激动地回忆了这封难忘的信，他说：
列宁的信虽然比较简短，但是它对我们党的实际工作做了大胆无畏的批评，并对我们党最近的全部工作计划做了非常明确扼要的说明。只有列宁才善于把最复杂的事情描写得这样简单和明确，这样扼要和大胆——他说的每一句话都是一颗子弹。这封简单而大胆的短信使我更加确信列宁是我们党的山鹰。
从此，他和列宁结下了最深厚的战斗情谊。在党内不同意见的争论中，他总是坚定地站在列宁一边，在他的一生中，斯大林永远说自己是列宁的学生。
柯巴不想在寒冷的西伯利亚过上三年漫长而沉闷的岁月，只过了两个多月，1904年1月最寒冷的日子里，他从荒凉的流放地逃出来。路上，遇到了一场可怕的暴风雪，差一点在大森林里冻死。他的脸和耳朵都被冻坏了。但是他终于逃了出来，春天，回到了阳光明媚的第比利斯，继续投身革命斗争。
俄国社会民主工党内发生了激烈的争论，形成了布尔什维克（多数派）和孟什维克（少数派）。布尔什维克以列宁为首，和孟什维克在许多意见上不一致。列宁主张建立一个高度集中、纪律严明的的政党，领导工人阶级进行政治斗争。
柯巴赞同列宁的意见，积极投入了建党的工作。他发表了许多文章响应列宁，1904年12月的巴库工人大罢工，他是领导者之一。这次大罢工震动了俄国，被称为“俄国大革命风暴来临之前的雷鸣闪电”。这一年，他只有25岁，是一个年轻的革命者。
