1921年秋，林纾撰《七十自寿诗》二十首，略述生平遭际，其中第一首就说：
畏庐身世出寒微，颠顿居然到古稀。多病似无生趣望，奇穷竟与饿夫几。回头未忍思家难，傲骨原宜老布衣。今日王城成小隐，修篁影里掩柴扉[1]。
中国知名人物中出身寒微的并不少见，但像林纾这样穷苦困顿到形同饿夫，并且旋起旋落、灾祸不断的却也不多。
福建姓林的很多，但林纾这一支并非土著。其十世祖自金陵（今南京一带）迁居闽县之莲塘村，世世代代，俱是农夫，过着土里刨食的艰难生活。
据林纾在《先大母陈太孺人事略》（见《畏庐续集》）中说，到他祖父那一辈，因为母亲（林纾的曾祖母）双目失明，生活益艰，便离开土地，到城里去做工。具体做什么工作，现在已无可考实，但从收入很低这一点来看，大概也不外卖苦力或跑腿打杂之类。除一日两餐外，主人每月只给一千二百钱，根本不够养家，所以林纾的祖母和大姑还得没日没夜地做针线活，每天可得百钱。即便这样，还是填不饱肚子。当时林纾的父亲刚会走路，家里每天熬两顿稀饭，先捞稠一点的给七十高龄的曾祖母，然后喂父亲，祖母和大姑就只能喝点稀汤了。
这样的日子过了十几年，曾祖母八十一岁上去世了。这时父亲已经十三四岁了，便出去做了童工，多了一个人赚钱，林家的生活渐渐有所改善，林纾的叔父也有机会读了几年书。
林纾的父亲，名国铨，字云溪，是个很能干的人。年龄稍长，受到城中某公的赏识。某公经营官盐，把建宁二路的生意全权委托给他，几年间，确实赚了不少钱，于是拿出一千缗，在城里玉尺山脚下典了一所房子居住。
林家虽然有钱了，但是没有地位，经常受到土豪劣绅的欺负。当时福建流行一种铁钱，一千个铁钱顶一百文铜钱。林国铨典房子的时候，典券中只写了钱数，而没有注明是铜钱还是铁钱，因此让人钻了空子。
有个叫陈莲峰的，是位举人。当地民风醇厚，素重科名，举人的身份是很受人尊敬的，但是这位陈举人却寡廉鲜耻，武断乡曲，鱼肉百姓。
一天，陈举人让人提着一千五百缗铁钱，到林家赎屋，实际上只值铜钱一百五十缗。
林纾的父亲往建宁贩盐，不在家，祖母陈太孺人出面与陈举人理论，老太太义正词严地说：
“先生科名中人，异日即为他省之官吏。狱贵察情，宁不知铁钱千权抵铜钱百耶？老妇辛苦哺儿，幸儿能典屋以安老妇，今先生必欲覆吾巢何也！”
陈举人理屈词穷，不能正面作答，于是大施淫威，“飞掷杯碗，摧折几案，隳突咆勃如悍吏”，威逼交出典券。陈太孺人叹气地说：“果读书人不可理喻者，老妇受赎还屋可也。”随即掷券于陈，一月后移家于城外横山。
孰料祸不单行，父亲雇往建宁贩盐的两条船，中途遇到漩涡，触礁沉没。当时对官盐的管理是很严格的，父亲拿出所有的资产予以赔偿，从而又复一贫如洗了。
祖母倒是很看得开，说道：“吾子谨愿，今如此，天也。且余少居贫，迨老再困，直复吾故而已，吾不贫之畏也。”（均《畏庐续集·先大母陈太孺人事略》）
祖母这种处变不惊、安贫乐道的达观态度，对林纾性格的形成有着很大的影响。
然而，看得开是一回事，一大家子人需要吃饭却是个实际问题，所以父亲不得不远离家乡，到台湾淡水去做生意。
但是最初几年，由于资本短缺，人地生疏，父亲根本没有赚到钱，不仅没有钱寄回家，有时连回家探亲的路费都没有。这时候林纾才五岁（虚岁，下同），便到外祖母家寄食。外祖母待他很好，但他经常受到邻家小孩的讥笑和欺侮，不久就气愤地跑回家来，再也不去了。母亲以为他有志气，亦即听之。
家里的生活实在困难，到他九岁那一年，可以说达到顶点。这一年，他又添了个弟弟，正好父亲回来探亲，但是为了生计，弟弟出生的第二天，父亲就又回台湾去了，这时全家共有九口人，父亲常年在外，困不能归；祖父、祖母年老体衰，需人供养；叔父新丧偶，又没有工作，无计可施；林纾本人和弟弟秉耀、堂弟秉华，年尚幼小，浑不解事，嗷嗷待哺；全家人唯一的生活来源就是母亲和姐姐做针线活挣的那点钱。姐姐只比林纾大五岁，其实也还是个孩子，加上年景不好，盗匪横行，所以母亲的境遇比当年祖母率大姑抬针黹以赡家时还要艰难，连一天两顿稀饭都不能保证，每月有五六天不能举火。林纾后来在多篇文章中记述了当时的苦况，读来令人泪下，例如其《先妣事略》云：
耀生二日，府君客游台湾。资尽，困不能归。岁大祲，澳门贼以铜艇阑入内港，聚江南桥下，谬言与南船竞铁锚，发炮互轰。纾适家横山，距江三里，飞弹蚩然，日夜从屋上过，比屋奔徒略尽，宜人以无食故，不得去。先大母方病，大姊稍省人事，键纾不令出，拥弟及妹环宜人而泣。宜人方缝旗，抚慰大姊言：“抵夜尽三旗，可得钱四百许；明日，大父母及尔兄弟当饱食矣。”纾时幼冲，不知母言之悲也。（见《畏庐文集》）
又在《母弟秉耀权厝铭》中说：
亡弟秉耀甫周岁，先君客游于台，资尽不能归。一家九人，咸仰母孺人及长姊针黹以自给。一日再食，至不能举。纾方九岁，向午自塾归，母以四钱市傅钝，命食之，遣去，不言全家之未举火也。弟时盘旋地上，见炉中沸渖问先大母曰：“糜乎？儿饥也！”大母泣，母孺人强笑呵之，而心愈悲。（见《畏庐文集》）
这种艰难苦况，到林纾十岁时才有所好转。这一年，叔父（名国宾，字静庵）得到一个塾师的位置，每月可有三两银子的收入。这样，祖父母和林纾兄弟就不用饿肚子了。第二年，父亲的生意也有起色，八月，从台湾寄回二十两银子，以后每月都有钱寄来，从而全家都可以每天吃饱饭了。
当然生活还不富裕，母亲和大姐还得继续做针线活予以贴补。十六岁时，林纾也去了台湾，帮助父亲经商，做一些簿记、杂务之类的工作，一待就是三年。十八岁回来结婚。
这几年，全家人早夜劳作，虽然辛苦，倒还平安。不料林纾结婚后的第二年便“丧葬接踵”，“黄更不翅”。先是祖父见背。不久，父亲身染重病，自台湾归来，调养四十日，不治而亡。接着，年迈的祖母承受不住丧夫失子之痛，也撒手而去了。年仅十九的林纾，连逢三丧，悲梗劳顿，身心交瘁，得了严重的肺病，“日必咯血，或猛至者，则盈碗矣。”（《畏庐三集·述险》）
林纾的叔父这时也在台湾，接替了父亲的位置，但他又在台湾成了家，实际上没有能力照顾福州的家了。于是林纾不得不自己挑起养家的重担。二十一岁时，他到一户姓王的人家做教师，不知为什么，不久就离开了（胡孟玺著《林琴南轶事》云：“先生早岁在乡，日必习武一小时，授徒时亦然，曾因此而且被迫辞馆。”不知说的是不是这一家）。他的朋友王灼三（字薇庵）见他实在困难，一时又找不到工作，就想了一个变通的办法：请他到自己家里坐馆，而自己则就馆于别家。
王家其实也不富裕，所以这对患难之交互相扶持、互相鼓励的精神便更可贵。林纾后来在《告王薇庵》毛见《畏庐文集》一文中回忆当时的情况说：
呜呼！士当贫贱坎凛之日，亲戚之形神不接，知交见而奔避。于此有人扶之、携之，虽侩也、屠也吾犹侣之，而况躬孝友之行，负文章之名，爱我以德，接我以礼，感我以情者耶？忆戊寅之间，君馆余于家，君别出馆于史氏。数日必归，归必把余之手而谈。时雨盛屋穿，数易共座，渗随及之。君与余方纵谈世务，倾吐肝胆，怡然有得，而各忘其贫。
戊寅即1878年，时林纾27岁。从这段文字中，不难看出林纾当时生计之窘迫和精神之旷达。这一年还发生了一件不幸的事，令林纾终生痛心疾首。
林纾的弟弟秉耀见哥哥实在辛苦，有心帮他一把，又想哥哥喜欢读书，但为生计所迫，至今学业未成，自己应该玉成他，于是和母亲商议，想到台湾投奔叔父，学做生意，挣钱养家，以便减轻哥哥的负担。秉耀自幼体羸多病，所以林纾知道他的想法后极力劝阻。但是秉耀心意已决，便趁林纾赴试不在家的时候，毅然去了台湾。当时台湾是有名的瘴乡，秉耀抵台，正值时疫流行，四个月后即染病而亡，死时虚岁才十九岁。噩耗传来，林纾痛不欲生，立即赴台奔丧。一年后，棺椁运回，厝于玉尺山麓，林纾写了一篇感情深挚的《母弟秉耀权厝铭》，中云：“呜呼！纾不孝不友，竟以口腹累吾弟矣！”沉痛自责之情溢于言表。
林家生活条件的根本转变，是在林纾三十一岁考中举人以后。
中举需要读书。林纾的读书道路也是很不平坦的。
林纾五岁的时候，家贫无食，寄居外家。有一天，外祖母带他上街，老远听到朗朗读书声，他便情不自禁地跑过去，一看，原来是处塾馆，先生正教学生读《孝经》，他即站在窗外静听默念，反复几遍之后，居然能够背诵。他从中得到了极大的乐趣，此后便经常到塾馆窗外偷听。一次，天上下起细雨，林纾听得出神，衣服都淋湿了，他还浑然不觉。后来塾师发现了他，把他叫进屋里，问明情况，知道他因为家贫不能入学，而内心实在渴望读书，塾师深受感动，破例允许他免费旁听。
这位著名翻译家、文学家的学业就这样戏剧性地开始了。后来他在《蠡叟丛谈·凶宅》中说：“余五岁时……背灯读《孝经》”。可见他在这个塾馆的时间虽然不长，但却养成了读书的能力和兴趣，为他以后的发展打下了基础。
林纾从外祖母家跑回去以后，家里虽然困难，但是长辈们见他有志向学，并且确实希望能出个读书人改换门庭，所以还是送他入村塾。
小林纾学习刻苦，进步神速，塾馆功课之外，又拼命自学。晚年他在教育子女时回忆当时情景说：
余自八岁至十一岁之间，每积母所赐饼饵之钱，以市残破《汉书》读之。已而，又得《小仓山房尺牍》，则大喜。母舅怜之，始以其《康熙字典》贶我。时吾攻读甚勤，尝画棺于壁，而挈其盖，立人于棺前，署曰：“读书则生，不则入棺！”若张座右铭者。（《年谱》卷一第5页）
有一天，他在屋角的一只破箱子里翻出叔父留下的几本旧书，有《毛诗》《尚书》《左传》和《史记》，他如获至宝，随即翻阅起来。《史记》只剩下半部，年表及八书部分不见了，幸而本纪、列传都在，他顺手翻到《魏其灌夫武安传》，读之，大喜曰：“此等文章，最入人肝脾！”接着，他用了一个月的时间，把半本《史记》全部读完了。他从而受到启发，心想，家里穷，买不起成套的书，读这种断简残编也很不错。于是便每天省下几文早点钱，攒到一定的数目，就到城里旧书摊上去买些残本子集及列史读之，间及《文选》、韩、杜诸诗。到十六岁时，竟积书三橱之多，及至二十以后，校阅残烂古籍不下二千余卷。
像林纾这样读书，固然没有什么系统，但同时也就没有什么框框，使他得以博观约取，自由发展。
林纾十一岁的时候，拜同里薛锡极为师。薛锡极字则柯，《畏庐文集》中有《薛则柯先生传》，记述其人其事：这位薛先生，“长髯玉立，能颠倒诵七经，独喜欧阳公文，及杜子美、岑嘉州诗，抗直好忤人”。同族同辈中有三人成进士，但他不屑一顾，在横山结庐隐居，授徒六七人，而独重林纾，并赐名曰徽。他教学生，不教八股文，而是教读欧阳修的文章和杜甫的诗，对林纾要求尤其严格，尝曰：“吾不为制举文。若（你）熟此（按指欧文杜诗），可以增广胸次。且吾尝见乡之贡士矣，以时文博科第，对案至不能就一札。设闻之，得毋以我为悖耶？”
林纾后来成为著名的古文家，与薛先生的教导有很大关系。
然而，那时候的读书人不会八股文是没有出路的。薛先生虽然自己不教八股文，但是恐怕耽误了学生，所以在林纾十三岁时，便把他介绍给专教八股文的朱韦如先生。
在朱先生门下三年后，林纾十六岁赴台省亲，学业中断。十八岁返乡结婚。十九岁连逢三丧，哀极病肺，但仍坚持自学：“横山老屋，树古鸱啼，星火荧然，纾挟卷就母、姊刺绣之灯读，必终卷始寝”。（《畏庐续集·周养庵篝灯纺织图记》）
二十岁时得岳父资助，执业陈蓉圃之门，继续学为制举文。但到二十三岁，自课蒙，谋给养，再次辍学。业余从石颠山人学画。
石颠山人姓陈，名文台，字又伯，善诗工画，能写高松及兰竹，亦间为翎毛花卉。林纾得山人翎毛用墨法，变之以入山水，山人见而异之，以为孺子能不局于法也（《畏庐三集·石颠山人传》）。所以，林纾在绘画方面也很有成绩，著有《春觉斋论画》，并有《畏庐山水遗迹》行世。他一生自食其力，卖画是他重要的生活来源之一。
在这一段时间里，林纾身体染病，又为生计奔波，可谓心力交瘁，但仍然读书作画，坚持自学。他在《石颠山人传》中说：“余自二十至三十此十年中，月或呕血斗余，不亲药，疾亦弗剧，然一日未尝去书，亦未尝辍笔不画。自计果以明日死者，而今日固饱读吾书，且以画自怡也。”
这番努力总算没有白费，使他二十八岁（1879年）入邑庠（中秀才），三十一岁（1882年）领乡荐（中举人）。
中举以后的林纾，仍然力学不辍。与他同乡且同年中举的李宗言，字畲曾，后来官至江西广信府知府，安徽候补道，其家先世为宦，父辈经商，所以既是书香门第，又是富庶人家，在福州光禄坊玉尺山置有园林，园中别筑“吟台”，常招诗流唱和，又有藏书楼，搜罗甚富。林纾自与其交好，乃尽读其所藏书，数年间校读不下三四万卷，于是文笔恣肆，日能作七八千字。
