杨恽的父亲，也就司马迁的女婿杨敞是汉昭帝时的丞相。杨恽出身名门，聪慧明敏，自然“以才能称，好交英俊诸儒，名显朝廷”，被皇帝招到朝廷为官。
不过在此之前，杨家并不显赫。杨敞当时只是被汉武帝任命为顾命之臣霍光的一个小幕僚，霍光虽然器重他，但杨敞天生胆小。在元凤年间，同为汉武帝任命为顾命大臣的上官桀很看不惯霍光的大权独揽，密谋杀掉霍光。要知道，当时霍光权势盛天，想要造他的反，必须要有严密的计划和十足的把握才行。但是，上官桀的密谋几乎成了光天化日的运作，其要造反的消息居然被负责收取稻田租税的稻田使者燕苍探知，燕苍深知自己身微言轻，汉武帝之后，朝廷对告密者不是很重视。于是，燕苍找到了时任大司农（财政部部长）的杨敞，希望让他出面来进行告密。
杨敞天生胆小，他考虑一旦告密不成，如果无此事，上官桀想要搞死他简直和捏死一只蚂蚁相当。所以他坚决不做告密者。燕苍也不请求他，因为他现在是一个怀揣着稀世珍宝的人，肯定有人做他的买卖。他又找到谏大夫杜延年，杜延年听了这个消息后，险些没跳起来，这是老天开眼，该当他富贵。二人立即向霍光告密。结果，查证属实，两人通过告密升了官。不知道燕苍是否把自己曾找过杨敞的事跟霍光说过，我以为是没有讲。因为不久后，杨敞就替换了丞相王欣。如果霍光知道他有密不告，一定不会给他这种待遇。
前74年，被霍广扶持了12年的汉昭帝驾崩。霍光依旧大权在握，他和富平侯张安世立了昌邑王为帝，可昌邑王不懂得珍惜，日夜荒淫。霍光与张安世密谋，准备废王更立。两人象征性地把这个密谋告诉了丞相杨敞，据史书记载：“敞惊惧，不知所言，汗出洽背，徒唯唯而已。”当他汗流不止，就要惊惧而晕时，他的夫人及时出面了，不愧为司马迁的女儿，几句话就把杨敞说得呼吸恢复平静，他的夫人认为，你同意，霍光也是废，你不同意，还是废，倒不如顺水推舟。
这两件事就足以见得，杨敞不但胆小，而且听得告密之事如同见到鬼一样。可他的儿子却跟老子完全不是一个路数。杨恽是绞尽脑汁去探听别人的秘密，然后上告。历史记载他这个人是有这样一句话：“恽伐其行治，又性刻害，好发人阴伏，同位有忤已圪，必欲害之，以其能高人。”就是说，杨恽天生喜欢挖人隐私，越是别人的秘密，他就越想知道。用心理学来解释，杨恽很可能有心理疾病，跟偷窥狂、露阴癖有一比。
但霍光在世时，杨恽似乎没有多少密可告。公元前68年，霍光去世，当时的宣帝在许多人的怂恿下，对权倾朝野的霍家进行“去皮见骨”似的打击，霍光的儿子霍禹和家族成员最终无法忍受家道的日益衰落，密谋谋反。前66年，杨恽第一个知道了霍家人要造反的消息，第一个向宣帝告了密。其实我们不难理解，杨恽本就是个喜欢窥探别人隐私的人，霍光死后，皇帝逐步削弱霍家势力，杨恽很可能就猜到，一向不甘人下的霍家肯定会有所动作。结果，皇天不负有心人，长时间的窥探后，终于有了他想要的结果。霍家被皇帝削平后，杨恽以告密有功，升为中郎将，封平通侯。
后人对平通侯杨恽的确有些想要向他脸上吐几口痰的冲动，首先，告别人的隐私就不是什么好事，其次，如史学家王鸣盛所说：“敞以给事霍光幕府，为光所厚爱，致位宰相。而敞之子恽，即以告霍氏反封侯，亦可谓倾危之士矣。”王鸣盛就认为，杨恽这个人虽然是个挽救汉朝政权的人，但从道德上讲，的确不怎么样，即使你的恩人的确正准备触犯国法，可无论如何都轮不到你来告密，而且你还是首告者。
无论在道德和法制上怎么评价杨恽，他是听不到了。在成为平通侯后，杨恽的好日子是过得如火如涂。但他始终没有把“发人阴事”的嗜好忘掉，整个宣帝朝廷，一旦有人的隐私被人暴光，大家首先想到的就是喜欢“发人阴事”的杨恽。杨恽也不客气，对众人的“认定”不做任何辩解。
但是，常走夜路，总会遇上鬼的。杨恽不是不明白，即使这个世界上没有鬼，只要有人胆子大，黑夜中装成鬼站出来吓他一下，就够他惊魂半天的了。
这个“鬼”就是太仆戴长乐，此人是汉宣帝的亲信。也擅长告密，但最擅长的是说大话和记仇。有一次，他受宣帝的委派去祭祀宗庙，回来后就对下属吹牛：“皇帝当面召见我，我做皇上祭祀的助手，连秺侯金日磾都亲自为我赶车。”金日磾也是汉武帝指定的顾命大臣，昭帝、宣帝都非常尊重他，可谓位尊权重，戴长乐这样吹牛法，实在是脑子有问题。
果然，不久后，皇帝就把他召进宫，把他的吹牛原本一字不落地读给他听，然后训斥一番，把他关进了监狱。戴长乐哪里能咽得下这口气？他甚至不用想，就知道是谁打了他的小报告。杨恽！
刻板印象害了杨恽，现在无法找到证据证明是否真的是杨恽，但这不重要，重要的是，戴长乐认定就是杨恽。戴长乐决定向杨恽报复，主要手法就是告密。在监狱那样恶劣的环境下，戴长乐不避辛苦，艰难地写下了一封告发杨恽的信件，呈给了宣帝。
据告发信所写，杨恽曾经跟富平侯张延寿谈过话，说的是高昌侯的车狂奔抵触北掖门，可能有事要发生。为什么呢，因为杨恽举了个例子，说，先帝（昭帝）未死前，有马狂奔触殿门，马死，随后，昭帝就驾崩了。那么，这次发生什么事呢。杨恽没有说，只说了一句话“今复如此，天时，非人力也。”
真是毒辣无比！戴长乐可谓深得告密三昧，在上者如果不鼓励告密，是不能轻易告密的，如果要告，就必须一击而中要害。戴长乐的告密信可谓是中了要害。他是在告诉宣帝，杨恽是在诅咒您早登极乐呢。
戴长乐是做了十足的准备要把杨恽告翻的，所以，在这个主要问题告出后，他又举了杨恽的一件事，“杨恽曾看过古代帝王的画像，他却不看皇上您和尧舜的，而只是盯着桀纣的画像说什么‘天子经过这里的时候，应该问问他们有什么过失，应该从中吸取教训才是’的话。”然后是自己的阐释，“这不是明显在骂皇帝您是昏君吗？”
汉宣帝看了这封告密信后，大吃一惊。他认为戴长乐那样口无遮拦已经属于大逆了，想不到杨恽这个小子居然还有更“不道”的阴事。经过查证，杨恽绝不抵赖，供认不讳。宣帝把他废为平民，戴长乐并没有因为告密而得到奖赏，只是把他从监狱里拎出来，逐出了朝廷。
事实上，东汉的皇帝都不鼓励告密，如果不是威胁到他皇位的事情，一般对告密者的处罚都很人性。第五位皇帝章帝时，洛阳太学（国立大学）有两个书生叫孔僖与崔骃的，上完课后在自习的时候，谈论起了汉武帝，二人先是谈论了刘彻最初登极时，崇信儒家学派，五六年间，被称有文帝与景帝的政绩；但是后来却放纵自己，遂抛弃了从前的善行。而且引发战争，劳民伤财。两人越说越气愤，声音也就大了起来。恰好被邻房的同窗梁郁听到了，梁郁立即向皇上告密，说两人诽谤先帝，讥讽时下政治。
案件立即被皇帝确定，要求官员对孔僖与崔骃进行调查，崔骃先被传讯审问，此人与同学辩论倒是滔滔不绝，但在朝廷官员面前，却慌了手脚，一句话都说不出来。当传讯孔僖时，孔僖却丝毫不慌，很镇定地答辩道：“诽谤的本意是指并没有这件事，而有人作了虚伪的诬陷。至于孝武皇帝（刘彻），他的美恶得失，都明白地记载于史书之中，如同日月在天，人人都见得到。我们二人不过是把史书上的记载，用口头再说一遍而已，并没有虚构。皇帝这个角色，无论做好事或做坏事，天下没有人不知道，人们根据这些来评论，无法用诛杀来遏止。”章帝看到臣子记载的孔僖答辩后，就下诏：“不要受理这件控案”。同时，又把孔僖任命为兰台令史（图书管理官）。
人性史学家柏杨在看了这个故事后，说：“孔僖与崔骃应是中国冤狱史最幸运的两个知识分子，因为他们遇到用理性可以说服的君王。”“用理性可以说服的君王”恐怕只有在东汉才有，后来就灭绝了。梁郁这个告密者后来的结局不知如何，但在这件事上，他没有捞到任何便宜。即使捞到，很可能也只是如戴长乐一样，从监狱内到监狱外而已。
杨恽被废退以后，并没有闲着，而是“居家治商业，以财自娱”。按理而言，被废退的臣子应该低调一点才好，杨恽却不这样，他用经商赚来的钱大肆招徕才学之士，俨然把自己的家变成了一个集会点。
他的好朋友安定太守孙会宗有一次来找他，发现无密可告的杨恽的确是闲不住。他告诫这个朋友，应该采纳前人的经验，大臣被废退后，必须胆小怕事，装成一副可怜相，让人觉得你很低调才好。
杨恽不这样认为，他肚子里有怨气，他认为皇帝只凭自己的几句话就把自己废了，的确不符合规矩。当孙会宗走后，杨恽心血来潮，拿纸拿笔，写下了中国文学史上比较有名气的《报孙会宗书》，他先是在信中夸耀自己的显赫世家，然后在废为平民后的生活，最后，他狂傲地说，古代有个叫段干木的不肯做官，我要效仿他。
这篇文章还没有传出去，他的侄子读到了，对他说，“您过去有功于朝廷，现在只要低个头认个错，皇帝会重新启用你的。”叔叔大怒：“胡说！这种皇帝，我还为他卖命做甚！”这当然还属于大逆不道之言，在专制时代，为皇帝卖命是权利！但他的这种话并没有被人告发，直到他的《报孙会宗书》被人读了去，又接着而来的是五凤四年（公元前54年）出现了日食。
日食在今人眼中，只是一种天文现象。在古代，却是一件关乎性命的预兆。一旦出现日食，就只能有两种人要死，第一种是皇帝，第二种是大臣。与其死皇帝，不如死大臣。宣帝正在思考不知该死哪个大臣的时候，有一个养马的小官叫拜成的前来告密。他说，日食警告的是杨恽，因为他不但未有悔过之心，而骄奢淫欲，私自经商，又写过一篇文章，很有怨恨之意。
宣帝立即叫人拿来那篇文章读，读到“夫人情所不能止者，圣人弗禁，故君父至尊亲，送其终也，有时而既。臣之得罪已三年矣。田家作苦，刚时伏腊，斗酒自劳。家本秦也，能为秦声。妇，赵女也，雅善鼓瑟。奴婢歌者数人，酒后耳热，仰天拊缶而呼乌乌。其诗早：‘由彼南山，芜秽不治，种一顷豆，落而为箕。人生行乐耳，须富贵何时！’是日也，拂衣而喜，奋袖低昂，顿足起舞，诚淫荒度。不知其不可也”时，宣帝大怒，下令逮捕杨恽。
宣帝为什么会大怒，《容斋随笔》的作者洪迈给出了答案：“予熟味其词，独有‘君父至尊亲，送其终也，有时而既。’盖宣帝恶其‘君丧送终’之喻耳。”
杨恽觉得，我已经被贬官三年，就仿佛是我给我死去的老子守了三十六个月孝一样。按礼制，我已经尽孝道了。也就是说，以后我老子再来我梦中找我骂我不孝，我就会骂他。因为我所尽的已经尽到，你已经没有资格再对我说三道四。你皇帝老儿也一样，我被你贬了三年，已经对你尽了忠道。那么，从此以后，咱们就是井水河水，你别来找我，我肯定不会去找你。我们之间君臣的关系已经彻底结束了。
宣帝看到这样的话，自然不会发怒，如果他仔细想想，杨恽说得的确有道理，虽然有点强词夺理。但让宣帝受不了的是，杨恽居然把他和死掉的父亲相提并论，这无疑还是那个“有马狂奔触殿门”之语的翻版。宣帝自然就要大怒了。
杨恽由告密发家，又以告密身败。可谓成也告密，败也告密。但我们不得而知那个喂马的小子拜成为什么要告密。也许，有时候，这种在皇帝身边告密的人只是希望给皇帝排忧解难，才把别人性命给搭进去的，而随着别人性命的丧失，告密者则摇身一变，被加官进爵。拜成后被宣帝封为郎，从此结束了与畜牲在一起的岁月。
由此可以看出，为什么像杨恽这样的人特别喜欢告密了。因为告密是一条终南捷径，许多人用毕生精力才能到达的顶峰，在专制时代，你只需要告密就能登上去了。
为什么告密事件屡见不鲜？柏杨先生的论断是：“不是中国人特别喜爱打小报告，而是制度如此。有什么制度，就有什么样的行动反应，当社会风气以告密为荣，认为告密是效忠时，我们又如何唾得完？又如何特别唾某一人二人！”
杨恽当然还创造了中国历史上的一个记录，那就是文字狱。著名的散文家黄裳先生在《笔祸史谈丛·后记》中说了这样一句话：“历史上以文字杀人较早的一例，一般都认为应数杨恽之狱。”他的认为当然有根据，民国年间所编的《辞源》“文字狱”条目下就有这样一个注：“以文字贾祸之谓，如汉杨恽以《报孙会宗书》腰斩……”宋人罗大经也说：“杨（恽）子细以‘南山种豆子’之句杀其身，此诗祸之始也。”
从此后，这个告密者创造的记录开始笼罩着中国专制时代的所有文人们。
