关于陈洪绶的情感生活，要追溯到他的幼年。
最早关于陈洪绶情感（婚姻）的文字记载，见于清朝学者朱彝尊的《曝书亭集》“陈洪绶传”一节，有这样的记述：“年四岁，就塾妇翁家，翁家方冶室，以粉垩壁，既出，诚童子曰：‘毋污我壁。’洪绶入视良久，给童子曰：‘若不往晨食乎？’童子去，累案登其上，画汉将军关侯像，长十尺余，拱而立。童子至，惶惧号哭，闻于翁，翁见侯像，惊下拜，遂以室奉侯。”
朱彝尊在《静志居诗话》中也曾提及此事，只是将四岁陈洪绶壁画的关侯像从“长十余尺”改为“八九尺”。
说的是陈洪绶敏而早慧的故事，还有些传奇与夸张的意思，从中却也点出了陈洪绶婚姻生活的些许端倪。陈洪绶四岁，即已在“妇翁”（岳父）家就读私塾，说明那时其家庭已经替其订下了终身大事。时在明代，“父母之命，媒妁之言”。娃娃亲、甚至指腹为婚都是可能的。
关于陈洪绶“妇翁”的归属问题却是颇有些争议，史存两种说法。
一种说法认为陈洪绶的岳父为张尔葆。
最早见载于《山阴志》：“张尔葆字葆生，松江人。弱冠即有名画苑，写生人能品，后善山水，与李长蘅、董思白齐名。其婿陈洪绶得其画法。”
陶元藻笔记《越门见闻》也存此说：“张尔葆字葆生，仕扬州司马……婿陈洪绶，自幼及门，颇得其画法。”
后来一些史志似乎也承此说。如：
《浙江通志》“张尔葆”条载：张尔葆，山阴人。明末画家。十六七岁即善写生，称佳品，弱冠有画名。后善山水，与沈石田、李长蘅、董思白诸大家齐名，其婿陈洪绶得其画法。
俞剑华在《中国绘画史》（商务印书馆1937年版）中也写道：“陈洪绶……张尔葆婿也，甫四龄，过妇翁家，见新垩壁，登案画关壮缪像长八九尺，盖绘事本天纵也……”还是俞剑华先生，在上海美术出版社1981年出版的《中国美术家人名辞典》载：“张尔葆，字葆生，松江人，仕扬州司马，是陈洪绶的岳父……”
《绍兴市志》三十四卷载：“张尔葆，名联芳，号二酉，山阴人，少时已名于画坛，先工花卉、折枝、兰竹、草虫，后工山水，与董其昌等齐名。陈洪绶，字章侯，号老莲，诸暨人，张尔葆之婿。曾师蓝瑛，后又求学刘宗周，善画人物、仕女、花鸟、山水，晚年作品突破前人陈规，自创面目，有太古风。”
还有一种说法认为老莲的岳父为萧山来斯行。此说渐趋归一，已被史家所认同。
诸暨枫桥陈家与萧山来氏为故交。
陈洪绶的祖父陈性学，神宗万历时陕西布政使，与同时期任福建右布政使的萧山长河人来斯行交往甚密。因为同职，个性相近，又为同籍，诸暨、萧山又为近邻，且彼此在公务、诗文等往还唱和频繁，遂建立了恒久的情谊。
陈洪绶的父亲陈于朝和萧山来宗道有同窗之谊，且交情颇深。来宗道为来斯行胞弟，进士，官至大学士。“历官太子太保、礼部尚书，入阁为相。”陈于朝将女儿陈胥宛（陈洪绶妹）许配给了来宗道的儿子咨诹。
陈于朝因病早逝，来宗道曾为之撰写了《陈于朝墓志铭》，彼此情意之笃，即见一斑。
来宗道在《陈于朝墓志铭》中也写道了老莲与来斯行的关系，是这样写的：“洪绶，邑诸生。娶予兄工部主事斯行女，继娶杭州卫指挥同知韩君女。”来宗道为老莲妻叔，说的应为实情。
黄涌泉先生当年在写作《陈洪绶年谱》时，对此做过考辨。据“宅埠陈氏宗谱”及陈洪绶墓碑均云陈洪绶娶萧山来氏。还有来宗道撰写《陈于朝墓志铭》，其中记述似为铁证。据此，黄涌泉以为洪绶为张尔葆婿一说，应是误传。
后来，在编撰《诸暨县志》时，编者也从《陈洪绶年谱》说。“章侯初娶萧山来氏，续娶杭州韩氏，妾胡氏，无娶于张者。《松江志》云云，系谬传耳。”看来，《松江志》也是谬将张尔葆之女许配给老莲的。
故交加姻亲，似是古代最为得意的亲上加亲之事，当无可厚非。王璜生著的《陈洪绶》一书中也写道：“来宗道跟陈于朝相交甚厚，其子来咨诹娶陈于朝之女而为亲家关系。来家是官僚门第，根据陈来两家当时的关系，陈洪绶自小便同来斯行之女定亲是可能的事。来宗道的记载也应是可信的。因此，有理由排除陈洪绶为张尔葆之婿的说法。”
一
陈洪绶与来斯行之女来氏成婚的时间，应是在陈洪绶十七岁那年，这一年为明万历四十二年（1614）。其父陈于朝已在其九岁那年即万历三十四年（1606）的初夏病逝，祖父陈性学也在上年即明万历四十一年（1613）病殁。
这一年，陈洪绶离开老家枫桥，入住萧山来氏妇翁家，跟着来斯行研习学问，诗书画皆长进很快，颇得来斯行赏识。后来陈洪绶撰写《槎庵先生传》一文，其中写道：“洪绶十七岁即侍先生几杖，多能诵说，似非洪绶不可传。故作《槎庵先生传》。”
黄涌泉先生在《陈洪绶年谱》据此分析而得：“陈洪绶娶来斯行女，或即在此际。”
来氏是来斯行的第二个女儿，深得家传，聪慧而贤淑，擅诗而丹青，婚后，夫妻情感颇深，得一女，是为陈道蕴，“幼成闺训”，颇得家法，自然书画出众。长成以后，“遂以书画擅名越中”。黄涌泉在《陈洪绶与萧山来氏的婚姻》一文中说：“婚后相处甚好，并生了一个女儿。”
好景不长，或是红颜薄命，来氏于明天启三年（1623）病逝，是年陈洪绶二十六岁。屈指算来，陈洪绶与来氏共同生活不足十年。来氏病重期间，陈洪绶陪侍其旁，一旦逝去，陈洪绶甚是悲伤，写七绝一首，题为《内子嘱以旧服殓及殓简衣涕而作》，哀悼亡妻，全诗如下：“翠袖红绡满箧藏，缕丝摺叠怨俱长，当时桩束为侬饰，今日披将归北邙。”大家权贵之女，竟有如此心境。来氏贤惠一生，诗题中即已概全。
黄涌泉在《陈洪绶年谱》中对此也有记述：“明天启三年（1623），先生二十六岁。春，妻来氏卒。临逝，嘱以旧服及简衣殓，先生有感而作七绝一首。”
二
陈洪绶续弦是在明天启四年（1624）的秋天。这一年，陈洪绶便一直在杭州游历，与张岱兄弟、赵介臣等文友吟诗作画、饮酒唱和。后经人介绍，陈洪绶继娶杭州卫指挥同知韩君女。与原配来氏出身名门不同，韩氏则出身行伍，其父任杭州卫指挥同知，是为武尉。据杨士安所著《陈洪绶家世》一书所谓，此职相当于“管理五千六百人军队的副长官”。
虽非名门，韩氏亦是贤淑风雅，擅诗文，并教习陈洪绶与前妻来氏之女陈道蕴吟诗作文。深得陈洪绶喜爱，婚后感情甚笃，陈洪绶外出游历，情牵家室，时有诗书飞鸿往返。现存陈洪绶诗文中，时见“寄内”“寄妻”之作，且写得婉约而悠长。其中《舟泊南旺·寄内诗》五首当属此类，录其中二首：
“饥来驱我上京华，莫道狂夫不忆家，曾记旧年幽事否？酒香梅小话窗纱。”
“莫把归期盼断肠，且将归日细思量，柳边马嚼金环响，粉扑啼妆出曲房。”
陈洪绶与韩氏先后生六子。这六子分别是：长子义桢、次子峙桢、三子楚桢、四子儒桢、五子芝桢、六子道桢。另有两女。
其中四子儒桢，小名鹿头，字无名，号小莲。喜吟诗作画，深得乃父笔意。时画名已广播远近，且为陈洪绶所喜爱。杨士安先生著《陈洪绶家世》载：小莲“读书追摹字画，书画笔墨脱作家习气，画人物花草，迥别寻常。鼎革后，承父志，绝意进取。以画名于时，得之者宝惜如老莲……游迹所至，远近倾接。”非但承志，小莲还广搜父亲诗文，累年不辍，积集成帙。据载，陈洪绶吟诗作文，往往一挥而就，便随意流散坊间，无意积藏。明清易代之际，陈洪绶避乱山中，才将四子儒桢搜集的诗篇有意编册为集，并定名《宝伦堂集》。
可见，因为小莲有意，才有了现在坊间流传的《宝伦堂集》。否则，陈洪绶的大多诗篇也就会散失于流逝的时光中了。
三
陈洪绶一生先后两次离开诸暨北上京城。第二次从北京沿运河南下返家，经扬州，娶胡净鬘为妾，是年明崇祯十六年（1643）。黄涌泉先生《陈洪绶年谱》载：“明崇祯十六年，癸未，公元1643年。是岁，先生年四十六岁。至扬州，先生娶胡净鬘为妾，尝伴之往来铁佛寺赏红叶。”
关于陈洪绶与胡净鬘冶游情事，李斗《扬州画舫录》中有载：“铁佛寺在堡城，木杨行密故宅……。内有梅三株，中一株兼三色，远近多红叶，诸暨陈洪绶，字章侯，尝携妾净鬘往来看红叶，命写一枝悬帐中，指相示曰：此扬州精华也。”当时陈洪绶所说的扬州精华，并非妾所绘的、悬于帐中的那枚红叶，而是妾胡净鬘本身。可见陈洪绶当时的得意心境。
尚在扬州，陈洪绶便情不自禁地写下了些许诗句，自赞本次艳遇，喜形于色。抄《桥头曲九首》中的三首：
其三：“所欢在何处，江水荡荡来，为欢惜身命，有船不敢开。”
其四：“闻欢下扬州，扬州女儿好，如侬者儿人，一一向侬道。”
其八：“桥头多浪子，愿欢不交游，但看侬出时，许多望桥头。”
胡净鬘，扬州名妓，又名华鬘、净德，小名小宝。不仅风流秀美，且擅绘事，通佛理。从现存记载的文字看，胡似乎更擅长草虫花鸟。清代王士禛曾在《池北偶谈》中，专列“闺秀画”条，其中写道：“……胡净鬘，陈洪绶妾，草虫花鸟，皆入妙品。”
妾胡净鬘自然受到喜形于色的宠幸。双双回到诸暨枫桥长道地，陈洪绶在故居“宝伦堂”一侧，即自己寝室“团栾居”旁，独辟一室供妾居住享用，取名“曼殊室”，与陈洪绶爱女闺秀陈道蕴“写经室”相邻。因为同好，这一期间，胡妾净鬘与陈道蕴接触频繁，相互切磋画艺，各有长进，尤其道蕴，深得“六法”。对此，《宣统诸暨县志》有载：“道蕴幼承闺训，又与父妾胡净鬘讲究六法，遂以书画擅名越中。”看来，胡不但擅画，且很会生活，侍妾身份，竟与陈家上下颇为融洽。
陈洪绶对侍妾胡净鬘更是宝爱有加，视为红颜知己。且将其入诗入画。
《自笑》诗中有句：“文词妄想追前辈，画苑高徒望小妻。”
《种蕉》诗云：“老去争书媚，情深怯妇娇。”
《无题》诗：“锦带桥边照白发，定香桥畔忆红裙。”
以上诗中所及“小妻”“妇娇”“红裙”均指侍妾胡净鬘。宝爱情怀，溢于言表。
据研究家言，陈洪绶《隐居十六观》中的十五《缥香》一叶，所绘即是其妾胡净鬘。女子削肩，身形狭长，衣纹屈曲萦回，线条干净清爽。若研究家言成立，“妇娇”一角便跃然纸上。《隐居十六观》作于顺治八年（1651），为陈洪绶晚年的得意之作。
陈洪绶与胡净鬘曾联袂涉笔作画，是为双璧。现藏苏州市博物馆的《山水梅花合册》即是一双联合所绘。水墨，四开画梅，款署：“净德”“华鬘”“净德氏”，钤有“胡氏”“华鬘”“青园”“小字小宝”等印。
《宣统诸暨县志》载：“老莲侍姬胡净鬘，善画解禅，人比之为东坡、朝云。老莲自笑诗云：‘文词妄想追前辈，画苑高徒望小妻。’韵人韵事。与梅墅祁氏抗艳一时。”
吴敢等的《丹青有神：陈洪绶传》中也写道：“胡氏不但人长得美丽，而且还擅长绘画，兼通佛理，在艺术上称得上是他（老莲）的知音。人们羡慕地把他们两人比作苏东坡和朝云（苏氏侍妾）。”
时间已经过去了数百年之久，读着这样的记述，还是能感到古文士红袖添香的风流意韵的。
四
婚姻生活以外的不少女性，也在陈洪绶情感生活中留有无法挥去的一席。如董飞仙。
董飞仙，杭州著名的歌妓，不但好歌喉，还弹得一手好弦乐，才子佳人，一见如故。二人首次相遇，是在明泰昌元年（1620）。首次相遇，陈洪绶即作七言绝句一首纪之，诗收《宝伦堂集》卷九，题目是《赠妓董飞仙》，全诗如下：“桃花马上董飞仙，自剪生绡乞画莲。好事日多常记得，庚申三月岳坟前。”从诗中可知，首次相遇，陈洪绶还应董飞仙之邀，作莲花图一幅，还是点墨在董飞仙一块香艳的生绡上的。
这则画坛故事后来被朱彝尊写入《静志居诗话》，便在诗画界流传。
陈洪绶对董飞仙情意颇深，后来每到杭州，尤其在坊间听到悠扬的弦乐，自然要想起这位意中人。陈洪绶一次在杭州替朋友作画，题款中写道：“时闻筝琶声，不觉有飞仙意……”董飞仙一手好弦乐，令陈洪绶挥之不走。
《宝伦堂集》中还有一首诗写道董飞仙，诗题是《梦故妓董香绡》，全诗如下：“长安梦见董香绡，依旧桃花马上娇。醉后彩云千万里，应随月到定香桥。”居然在京城游历时，竟还梦见了杭州的董飞仙，可见情之深切。诗也写得情趣盎然。
五
陈洪绶逝世于清顺治九年，公元1652年。
陈洪绶墓在绍兴谢墅官山岙横棚岭下。
当年，黄涌泉先生为撰写《陈洪绶年谱》，曾多次到诸暨、绍兴等地，追踪陈洪绶事迹。为寻觅陈洪绶墓地，先后曾五次来到绍兴。黄涌泉先生在《陈洪绶年谱》中有翔实记载：“作者先后到绍兴凡五次，1955年5月在绍兴县文化馆蔡绿畦同志及南池乡五艾村同志的协助下，方始调查到。墓在绍兴城南十余里香炉、秦望两山间，即今南池乡第五村所在，碑文是：‘乾隆六十年（1795）八月裔孙允绅立，明翰林陈章侯公暨德配来氏宜人韩宜人合墓，光绪辛丑花朝裔孙司事重修’。”
这一碑文，是陈洪绶情感（婚姻）生活的最终一笔。
