杨宪益是天津一个特别富有的银行家的独子，生于虎年。母亲告诉他，在生他之前，她做过一个奇特的梦，梦见一只白虎扑入她的怀里。算命先生说，这孩子克父。真的在他五岁时，父亲就病死了。父亲是不是他克死的，成了他一辈子的纠结。上中学时，妈妈发现家庭女教师与儿子眉目间有异，等他一毕业，赶紧把他送到国外留学去了。
杨宪益父亲叫杨毓璋，字霁川，出身于一个官宦世家。杨家的故事可以从杨毓璋的曾祖父杨殿邦讲起。虽然可以查到杨殿邦的曾祖父叫杨东明，祖父叫杨世锦，父亲叫杨果亭，但他们的事迹不详。
杨殿邦生于1773年，死于1859年，活了八十七岁，在一个半世纪以前的时代，这样的岁数可以说是非常长寿的了。在如此漫漫人生中，他所担任过的职衔有记载的就达三十七项之多，做官从嘉庆十年一直做到咸丰九年，连跨三朝，长达半个多世纪，先后任山西道监察御史、贵州按察使、贵州布政使、贵州巡抚、山西布政使、太仆寺少卿、顺天府府尹、礼部右侍郎、漕运总督等职。
在他的晚年，太平天国轰轰烈烈，他曾与太平军交过手，地点在扬州东北面邵伯镇一带。在中国历史上，官军往往不敌“匪军”。杨殿邦在与这帮农民军的较量中，并未显示出特别的军事才能，所以也耻辱地战败了。清廷降罪，将他革职，戴罪留军以观后效，后来就郁闷地死在军中了。
杨殿邦子嗣不旺，只生有一个儿子，而且这个儿子肢体一直有病，因此无法走上仕途。也仿佛是老天有意使他弥补父亲的遗憾，他竟接连生了八个儿子！做不了运动员，就做教练员。他悉心培养儿子们，终使杨家日后出现了“五子登科”的壮观景象。
长子杨士燮是光绪甲午进士，先后在淮安、杭州任知府，还任过浙江巡警道等职；老三杨士晟是光绪壬辰进士，历任无锡、崇明知县、芜湖米厘总办，民国时任芜湖关监督、苏州关监督兼交涉员。1920年春，上海太田商会职员角间孝二等几个日本人到苏州虎丘游玩，在冷香阁午餐，适遇我第五团三营九连士兵十余人也到此用餐，角间孝二看不顺眼，竟用猎枪射杀了新兵胡宗汉，引起社会愤怒，杨士晟曾为此代表江苏地方当局向日方提出严正交涉。针对日本驻苏州领事百般抵赖事实、把射杀说成误伤致死，杨士晟也复照予以驳斥。
这一年，杨宪益年方五岁，是个顽皮的孩子，也许他在顽皮中，会听到一点家里人谈三叔公与日本人交涉的事情吧。在他年幼的单纯意识里，可能会印刻下些微对日本人的最初印象吧。也就在这一年，他的父亲去世了。
老四杨士骧是光绪丙戌进士，授翰林院编修、庶吉士。历任直隶通永道道员、直隶按察使、江西布政使、直隶布政使，接替袁世凯任山东巡抚、直隶总督、北洋大臣等。杨士骧为人随和幽默，生活上不拘小节。有天他赴一个叫马龙标的回族人的宴请，席上都是鸡鸭做的菜肴。酒酣之际，杨士骧对马龙标说，今天这桌酒席可以用“鸡鸭杂”对你的名字。席上众人都大笑不止。
或许杨宪益小时候听说过这个故事，所以日后当他遇到一个在他看来名字有趣的老师的时候，立刻如法炮制。
老五杨士琦是光绪壬午举人，先受李鸿章器重，曾担任李鸿章与八国联军议和中的联络员。李鸿章死后，又受袁世凯重用，任洋务总文案献，是袁世凯的智囊人物，为袁世凯效劳不遗余力，在袁世凯的许多重大政治活动中都可以看到他的身影，甚至袁士凯复辟帝制，据说也是杨士琦的主意。光绪之死，一种说法是被袁世凯下毒，而那剧毒药水是杨士琦花重金从洋人手中购得。后来杨士琦也就是被自己的小妾小白菜用同样的药水毒死的。他历任农工商部右侍郎，邮传部大臣，钦差大臣，上海轮船招商局和电报局总办，政事堂左丞，参政院参政等职。
老七杨士铨是光绪癸巳举人。老八杨士骢是候补四品京堂，广东补用道，京奉铁路总办，放山西巡盐道，在民国1913-1917年、1922-1924年，两次担任国会众议院议员，与袁世凯做了儿女亲家——袁世凯的第三个女儿袁叔祯是杨士骢的儿媳妇。
许是身体生来有亏，后天又操劳过度，杨鸿弼死得太早，不仅死在他父亲杨殿邦前面，也死在他的儿子们都有出息了之前。在杨殿邦身后，杨家开始衰落，身为长孙的杨士燮责无旁贷地负起了持家与照顾弟弟们的责任，一度颇为辛苦，后来当他娶了吴棠的女儿之后，生活才有了转机。
吴棠系晚清封疆大吏，先后任江宁布政使、漕运总督、江苏巡抚、闽浙总督、四川总督等。早年，杨殿邦对吴棠有知遇之恩。吴棠是安徽盱眙人（当时盱眙属于安徽，1955年划归江苏），杨殿邦本是安徽泗州人，后迁居盱眙，又年长吴棠整整四十岁，所以把吴棠视为同乡晚辈，关爱有加。吴棠于道光十五年（1835）参加江南乡试中乙未恩科举人，之后五次赴京参加会试，有三次杨殿邦都叫他住在自己府邸内，照顾饮食起居，予以谆谆教导，帮他复习功课，关怀殷殷，犹如对待子侄。吴棠后来将次女吴述仙许配给杨殿邦的长孙，该有报答师恩的意思。
吴棠一生有两大传奇。一件事是道光年间他在清河县任县令时，湖南道员刘某去世，他的儿子扶棺回原籍，船经清河时，刘儿便派人向父亲故交吴棠报信，吴棠包了三百两银子，派人送去。
谁知此时河上还泊了一条丧船，是两个女儿送她们去世了的皖南道父亲的灵柩回乡。吴棠的仆人一见丧船就上去了，一问，不错，是位道员，就把钱递给了两位姑娘。
仆人回去复命，吴棠觉出事有蹊跷，再派人去打听，这才知道弄错了。于是再包了银子亲自前往刘船祭拜，而后又来到皖南道惠征船上致祭。
姐妹俩原也川资不够，正处困顿之中，收了钱正不知如何感谢，当下见了素昧平生的吴棠，自然感激涕零，表示日后若有机会，定当报答云云。
吴棠听了，也不为意。谁知世事难预料，那位姐姐，后来被选入宫，三弄两弄，竟成了掌握国家命运的“老佛爷”——慈禧太后！吴棠后来官运亨通，无怪人们心生联想。
另一件事发生在咸丰三年（1853），吴棠回任清河知县不久，先后攻破金陵、镇江的太平军，在运河上排列战船，随时沿河北上。淮安府城乡人心惶惶，都在做逃避的打算。吴棠听说以后，率数百人赶到郡城淮安，对众人宣告，官兵大军马上就到了。同时四处张贴告示，要各方准备迎接。众人慌乱的情绪很快安定下来。吴棠随即又召集乡勇，倡办团练，几个月里便组织起数万人，彼此呼应，形成联防，声威四传。
太平军探得消息，不知虚实，在镇江、扬州一带徘徊多日，最终不敢冒险而放弃了原计划。吴棠施空城计退强敌，显示了过人的胆量与智慧。
算起来，吴棠该是杨宪益的曾外祖父，杨宪益身上流淌着吴棠八分之一的血液。
父强女不弱。吴述仙嫁给杨士燮后，成为丈夫的有力的贤内助。夫妻俩二心合一，促使弟弟们相继成才入仕。
不仅如此，他们还使杨家香火兴旺，竟也生了八个儿子！
杨鸿弼在九泉之下，应当非常欣慰了。
杨士燮思想颇为开明，他把八个儿子都送出国去“师夷长技”，分别在英、法、美、日等国留学。这几个儿子回国以后，与他们的叔叔们以及叔叔的儿子们一样，在社会上各显身手，演绎出了中国现代史上“杨家班”的无数传奇故事。
杨毓瓒（字瑟君）是杨士铨的儿子，能文能画，画的《村童戏蝶图》《湖山钓艇图》，都是画中精品。1927年7月起任国务院印铸局局长，次年6月去职。他的堂兄弟杨毓莹，字晴川，1913-1918担任北洋政府驻纽约总领事。另一位杨毓琤，北京陆军大学第五期毕业，任北京政府参谋部次长、陆军署次长、军政署署长等，1945年2月出任汪伪山东省省长等职，抗战胜利后被国民政府判刑，1947年病死于狱中。
杨宪益的父亲杨毓璋是杨士燮的长子。杨毓璋曾留学日本，在早稻田大学学习实业、经济、应用科学等，归来先后担任东北电报局局长、奉天海运局局长，杨宪益出生时，他正在天津中国银行行长的任上。
杨毓璋事业顺利，唯独子嗣人丁不旺。父亲在淮安做官时，为他订下当地一个富家女儿，可是这位妻子命中无子，只留下两个女儿，杨霁川买了一个妾回来，天遂人愿，第一胎就生了个儿子。这位妾就是杨宪益的生母，她生杨宪益时才十八岁。
大概徐燕若是因为自己做的也不是人家的第一个妻子，而且生在一个男人可以妻妾并蓄的时代，她对丈夫在日本的风流韵事也就并不讳莫如深，甚至没有恼火妒忌，在他身后，她把他当年写给日本艺妓的旧体情诗保存了多年，甚至还曾拿出来给儿子看过。
