蒙恬正在监筑长城，连日赶造，忽然接到始皇诏旨，命令他再度驱逐匈奴。当时蒙恬已经返回河南，不敢违抗圣命，再次渡河北上，取得高阙、陶山、北假等地。再往北去全部是沙地，不见行人。蒙恬于是停住人马，择取险要的地方，修筑亭障。仍然调犯人来此据守，然后派人奏报。
不久又有诏书到来，命他回驻上郡，于是蒙恬南归，到行宫朝见始皇。始皇当时正准备回都，匆匆与蒙恬话别，派他留守上郡，管制塞外，命他把九原到云阳的道路变成一条坦途。蒙恬唯唯应命，送别始皇，依旨办理。此时的万里长城，十成中还剩二三成没有筑好，几十万役夫正在辛苦修筑，现在又要开辟直道，百姓纷纷叫苦不迭。何况西北一带多是山地，想要一律平坦，谈何容易。怎奈这位蒙恬将军倚势作威，百姓无力反抗，不得不应征前去。今日堑山，明日填谷，性命丢了无数，直道最终也没有完工。秦朝十余年间，只听说长城筑就，没听说直道告成，枉自断送了许多性命，耗费了许多金银。
第二年是秦始皇三十三年，始皇平定了塞北，又想征服岭南。岭南是蛮人居住的地方，与北狄相似。只是地方潮湿，气候炎热，山高林密，热气熏蒸积成瘴雾，行人到此，重的丧生，轻的致病，更厉害的是毒蛇猛兽到处都是。始皇明知道路艰难，不便行军，却不管不顾，他把从前逃亡被抓回来的人犯全体释放，充作军人，让他们南征。人数不够，就抓民间入赘女婿一同前往。除赘婿以外，还用商人充数，共得了一二十万人，派大将统领，定期南行。可怜咸阳桥上，爷娘妻儿都来相送，依依惜别，哭声四起。那大将大发军威，告诉他们不准喧哗。赘婿、商人本来没有罪孽，为何把他们与罪犯并列，要他们共同出征呢？原来，依照秦朝旧制，凡入赘人家的女婿以及贩卖货物的商人都属贱奴，不与平民同等，所以此次南征，也要拉他们去当兵。这群赘婿、商人无奈之下辞过父母、别了妻子，忍悲含痛，向南行进。途中翻山越岭，极为艰苦，过了好多日才到南方。
南蛮人没有打过仗，而且在各处散居，势分力薄，忽然听到鼓声大震，号炮齐鸣，十分惊疑。登高遥望，只见大队人马从北方赶来，新簇簇的旗帜、亮晃晃的刀枪、雄赳赳的武夫、恶狠狠的将官，都是他们生平未曾见过的。看到这种情形，南蛮人心中一惊，掉头便跑，哪里还敢对敌？有几个蛮子蛮女，逃得稍慢一点，被秦兵上前捉住，关入了囚车。蛮人见逃脱不了，只好匍匐道旁，叩头乞怜，情愿充作奴仆，不敢抗命。其实秦兵也是一群乌合之众，所有的囚犯、赘婿、商人都没有经过训练，不过人数众多，阵势看起来可怕而已，没想到竟然能吓倒蛮人，长驱直入。不到几个月，岭南平定。秦廷颁下诏令，所得各地，分置桂林、南海、象郡，派官管制，所有岭南险要一概派兵驻守。秦王既然已经取得此地，便将南征的人留驻在五岭，镇压南蛮。后来又从中原调发百姓，无非是囚犯、赘婿、商人之类，叫他们到五岭守卫，起名叫做谪戍，共有五十万人。
始皇平定南北之后非常高兴，于是在咸阳宫大摆筵席，宴请群臣。青臣乘势阿谀道：“秦国以前不过方圆千里，陛下神圣，平定海内，放逐蛮夷，日月所照，莫不臣服，人人安居乐业，将来千世万世传下去，还有什么后虑？臣想从古到今，帝王虽多，像陛下这样有威德的，实是见所未见、闻所未闻。”始皇生性爱听奉承话，听到他这样说，更加开怀。学者淳于越本来是齐国人，后来做了秦臣，听完这话竟冒冒失失地起座插嘴：“臣听说殷、周两朝，传代久远，少的数百年，多的上千年，都会在开国以后大封自己的儿子、兄弟以及有功之臣为藩王。现在陛下拥有海内，却不封藩王，倘使将来有人作乱，如果没有亲藩大臣，还有何人相救？现在青臣只知谀媚陛下，怎能称做忠臣？还望陛下详察！”始皇听了，转喜为怒，但一时还忍耐着，问群臣对此有何看法。有一个大臣勃然而起，大声启奏道：“治道无常，贵在变通，三皇五帝也是如此。如今陛下开创大业，建万世法，岂是这些愚蠢的儒生所能知道的？现在天下已定，百姓也守分安已，各司其职，为农的用心务农，为工的专心做工，为士的更应学习法令、懂得变通。现在你们这些人不思通今，却想学古，非议当世，愿陛下不要被他们迷惑！”始皇得了这番言语，又高兴起来，满饮了三大杯才散席而去。
这最后发言的大员正是李斯。李斯此时已由廷尉升任丞相，他是创立郡县、废除封地的提倡者，承蒙始皇重用，毅然改制，经过了六七年并没有发现什么弊病。偏偏淳于越起来反对，欲将已定的局面再行推翻，为此李斯极力驳斥。到了散席回府，李斯还是余恨未消，于是又想出数条严令，当下拟好奏章，第二天呈上朝堂。
这篇奏章呈进去后，始皇亲手批了一个“可”字。李斯当即号令四方，先将咸阳附近的书籍全部没收，把诗书全部烧毁，然后将此法依次推行到各郡县。官吏害怕始皇，百姓害怕官吏，怎么敢为了几部古书犯罪？于是官吏、百姓一面将书籍陆续献出，一面把书籍陆续烧毁。只有曲阜县的孔氏后人，把数十部藏书偷着放进墙壁里面，才保存下来几部典籍。此外穷乡僻壤留藏了几册，天下书籍才不致被全部烧毁。只有皇宫所藏的书籍，没被毁去，但等到咸阳宫付之一炬时，所有书籍都烧得干干净净。
又过了一年，便是始皇三十五年。始皇喜新厌旧，又想大兴土木，广筑宫殿，临朝时对群臣说：“近来咸阳城中，人口越来越多，房屋也在逐渐增造。朕作为一国之主，只有这几所宫殿，实在不够用。从前先王在时，不过据守一隅，所筑宫廷难免狭小。朕做了皇帝后，文武百官与前代多寡不同，不便再居住在以前的宫殿。朕听说丰、镐[丰、镐：丰和镐都是古地名，是西周的都城。] 间本是帝都，朕现在定居在这里，怎能不扩充规模，不知你们以为如何？”群臣当然连声称是。于是在渭南上林苑中，营建朝宫。始皇命工匠们先绘成图纸，要求规模一定要宏大，要震古烁今。
众匠役费尽心思，才制出一个样本，呈入御览。始皇按图批改，指明某处要增高、某处要加宽，费了好几天工夫，才将前殿图样斟酌完善，颁发出去，令他们照样赶筑。
殿阙建成后，紧接着修筑后宫，五步一楼，十步一阁，自不必说。役夫不足，就由监工大吏发配犯人一起做工建造。相传前殿规模东西五百步，南北五十丈，分作上下两层，上可坐万人，下可建五丈旗，四面都有回廊可以环绕，高车驷马都可以在这里驱驰。还从殿下筑了一条甬道，与南山相接。
监工人员和做工役夫累得筋疲力尽，前殿总算是营造完成。偏偏始皇又发诏令，说要按照天上星斗样式分布，天上有十七星，都在天极紫宫后面，穿过银河，直达营室。现在把咸阳宫当做天极紫宫，渭水是银河，如果从渭水上面架起一座长桥，就像天上十七星的轨道，称为阁道。因此始皇又下令加造横跨渭水的桥梁。渭水两岸，长约二百八十步，筑桥自然很费事，并且桥上还要通车马。这样巨大的工程，比修筑宫殿要难上几倍。始皇不管民力，不计工费，只要他想得出，工匠做得到，便算称他心意。筑桥需用木石，关中不足，就命令荆蜀的官吏随地采办，随时输运。另外还不断地加添工役，除工匠外，又调来七十多万囚徒。
后来，始皇又调出一部分修筑宫殿的役夫，前往骊山为他筑建陵墓，所以这座宫殿修筑数年，直到始皇死，也没有完全修好。这些宫殿互相连接，照图纸计算，共有三百余所，加上关外的四百余所，连绵三百多里。其中一半已经筑就，只是装饰还欠缺。但最先建造的前殿早已告成，因为它四角有曲檐，人们便把它叫做阿房宫。始皇本想等到工程全部完成后，再取一美名，可宫殿没建成他就病死在沙邱，于是后人便用“阿房宫”三个字作为前殿的名字了。
始皇修筑阿房宫时，不等竣工，便将美人、乐器分置宫中，又是一番忙碌。恰在此时卢生进宫求见，又勾起始皇求仙的欲望，他对卢生说：“朕贵为天子，想做什么就做什么，无所不能，只是不能亲眼见到仙人，求得不死药。”卢生信口答道：“臣等奉诏去神山求见仙人，不知经受多少磨难，也没能遇到，想必是有鬼物作祟，暗加阻挠。臣听说要想求得仙术，必须隐蔽行踪、避除恶鬼，只要恶鬼远离，真人便来了。现在陛下居住的地方，群臣都知道，所以不能招来真人。仙人水淹不死，火烧不熔，乘云驾雾，无所不能，所以能与天地同寿、日月同辉。现在陛下日理万机，整日劳碌，虽然很想求见仙人，恐怕也难以实现。陛下所居住的宫殿，只要不要让外人知道，仙人就自会到来，如此，陛下便可以求得不死药。”这一席话，说得始皇不禁感叹说：“怪不得仙人难到，仙药难求！原来其中有这样的阻碍。朕既然如此思慕真人，就应当自称真人，此后不再称朕，免得被恶鬼迷惑。”卢生顺势奉承说：“陛下的圣明就像天赐一般，成仙指日可待。”说完就告退了。
始皇迷信邪言，于是下令咸阳附近已筑成的二百多座宫殿，都要添造复道、甬道，前后连接，左右遮蔽，免得游行时被人看见，瞧破行踪。始皇今日到这宫，明日到那宫，无论到哪，吃的也有，穿的也有，再加上这些吴姬赵女，都打扮得整整齐齐，袅袅婷婷，专等始皇到来。有几个侥幸仰受一点天子的雨露，总算不虚此生。但也不过一年一度，仿佛牛郎、织女七夕相会，还有一半晦气的美人，一生一世也盼不到御驾来临，徒落得深宫寂寂，良夜凄凄。
内多怨女，外多旷夫，一个兴盛的朝代，怎么能如此！然而始皇执迷不悟，整日微行宫中，不让他人知道行踪，并且命令侍从人员不得泄露，如有违命者立刻处死。侍从无不谨遵圣谕。不过始皇是开国君主，毕竟与庸人不同，所有内外奏牍，仍然照常批阅，令有功的修筑人员都迁居到骊县、云阳，免十年劳役。骊县境内，迁住三万家；云阳境内，迁住五万家。始皇以为皇威浩荡、帝德无涯，岂知百姓都愿意守在家乡，不想搬迁，虽说是免十年劳役，还是怨多感少，忍气吞声。始皇哪里会知道这些呢？只知道自己的命令没有人违抗，很是高兴。
一天，始皇游行到梁山宫，登山俯瞰。忽见一队人马经过山下，前呼后拥，不下千人，当中坐着一位宽袍大袖的人，华丽得很，可惜没有看到此人面目。始皇心中惊疑，便问手下说：“什么人从这里经过，竟然这样威风？”手下人仔细查看，据实回答。
