杨嗣昌率大部官军行进到夷陵时,得到了襄阳城失陷的消息。杨听后有如五雷轰顶,一下就病倒了。权责不一，将令不效，地方掣肘，加上武备废弛，缺粮少饷等种种原因，使杨嗣昌的“平贼”方略很快破产。洛阳、襄阳相继失守，如意算盘，全部落空。杨嗣昌智穷计尽，心力交瘁，忧惧交加，旧病复发。
那天晚上，杨开始怎么也睡不着，后来才勉勉强强睡着了。杨只觉朦朦胧胧中，皇上的诏令下到督师行辕。旨意是将杨革职问罪，械送京师。于是，杨被钦差和官兵用囚车押送到了京城。在囚车进入京城的时侯，许多人围着向他投掷鸡蛋和菜叶。人群中有三个穿着普通老百姓的衣服人，疯狂地扑向囚车，扯杨的头发，撕杨的衣服，捶杨的手臂。这三个人口里还喊道，杨嗣昌老贼，想不到你也有今天，呵呵呵。杨定睛一看，这三个人竟是卢象升、王家桢和熊文灿。杨很奇怪，卢象升与熊文灿不是死了吗，他们俩个怎么和王家桢搅在一起。在杨正寻思的时侯，天空忽然刮起一阵狂风，飞沙走石。那些押囚的官兵和围堵的百姓都不见了。只有那三个旧日的高官瞬间化成三个厉鬼，拿着兵刃，飞来砍杀杨。杨并不害怕，说老夫已经兵败名裂，你们要杀就杀吧。很奇怪，无论那三个鬼怎么砍杀杨，杨丝毫未受伤。过了一会儿，天空又转为风和日丽。几个太监又传下皇上一道圣旨，不知是何旨意。杨想跪接圣旨，可身上脚铐手链，又被卡在囚笼里，肯本动弹不得。杨还是想跪接圣旨，极力挣扎着。
于是杨醒了，浑身还在冒冷汗，原来是一场恶梦。胡伏虎、万元吉等文武将官站立在杨大人旁边，问发生了什么事。杨说做了一场梦，并把梦中所历之事说了一遍。
杨又对众将官说道：“昔年，老夫与宣大总督、勤王兵总指挥卢象升政见不合。对关外凊兵的方针政策，我主和，他主战。后来，老夫利用职权一再减少卢象升手中兵力，使其不能组织有效的抵抗。最后，卢象升兵败阵亡。是老夫害死了国家的忠臣良将。前任六省督师王家桢和熊文灿实际上也是国家之栋梁和干吏。王家桢家丁哗变，烧毁了开封府的一个城门。熊文灿派左良玉征讨谷城县献贼，打了一个败仗，损失一万名官兵。老夫今天才明白，瑕疵不掩白璧，胜败乃兵家常事。他们的这两个失误，现在看来根本算不了什么天大的问题。原来小题大作了。实际上，从总体上看，王家桢和熊文灿的能力和品性，都比老夫的强。王家桢没有丢失开封，熊文灿没有丢失襄阳，而老夫丢了襄阳。老夫悔不该把六省督师大臣从王家桢换成熊文灿，又从熊文灿换成老夫。老夫有罪啊！”
杨停了一会儿，又转向万元吉说道：“元吉老弟，急刻给老夫草拟一道奏疏。就写罪臣杨嗣昌对不起皇上与朝廷列位臣工和三军将士。臣自知罪孽深重，万死难辞其咎。请皇上赐罪臣一死。十万将士辛苦二年，甚为无辜。恳请皇上继续让他们杀贼立功，或可挽救危局。罪臣杨嗣昌泣血跪陈。某年某月某日。”众将官闻言，哭成一片。
杨嗣昌抱病率军行至荆州沙市。这时，又听说洛阳已经在两个月前的正月被攻陷，福王遇害。杨忧惧之下，不食而死，时年五十有四。杨临死之前将自家后事托付给胡伏虎。杨希望归葬龙阳县赤山岛，那里是他以前经常路过的地方。杨还要求常德杨家在本地大力推行保甲团练之法，以求自保。胡伏虎含泪应允。是年三月初一，东阁大学士兼六省督师大臣杨嗣昌死于湖北沙市徐家花园。三日后发丧，全军带孝。真是“出师未捷身先死”，“三军恸哭俱缟素”。崇祯帝闻其死，“且恨且怜”，临朝叹息：“自杨嗣昌殁，无复有能督师平贼者。”杨嗣昌死后，明朝完全处于被动挨打的地位。
由于杨嗣昌生前积怨过多，其死后亦不得安宁。不少官吏继续上书，要求追究杨嗣昌“灭贼逾期”的责任。崇祯帝力排众议，降下圣旨，诏曰：“故辅嗣昌奉命督剿，无城守专责，乃诈城夜袭之。檄严饬再三，地方若罔闻之。及违制陷城，专罪督辅，非通论。且临戎二载，屢著捷功。尽瘁殒身，勤劳难泯。”不仅免于治罪，而且加封太子太傅，并赐祭一坛，令其归葬于家乡武陵。
胡伏虎扶杨嗣昌灵柩回到武陵。杨的三个儿子山松、山梓、山槂率众亲友出城一百里迎接父亲灵柩的到来。朝廷的顶梁柱倒了，杨家的顶梁柱也倒了。杨嗣昌平时对儿子们要求极严。杨山松他们三兄弟都二三十岁了，可还是布衣之身。杨嗣昌没有利用手中职权，为儿子们谋取功名前程。杨家也没有积聚金银财宝等浮财，只有一些田舍。尽管这样，儿子们不怪父亲。他们为有一个鞠躬尽瘁、两袖清风的父亲而骄傲。武陵城外，又添了一千多座新坟。坟里埋的都是这两年跟随杨督师和胡副将剿贼而牺牲的常德子弟兵。一边是黑发人送白发人，一边又是白发人送黑发人。此情景，甚是凄凄惨惨、悲悲切切。
这时，朝廷中的阉党和东林党人暗中串联，准备抗旨弹劾杨嗣昌。面对如此严峻的形势，胡伏虎和杨嗣昌的三个儿子山松、山梓、山槂及其家人，根本不敢把杨嗣昌的遗体在家乡武陵县安葬，打算依嘱葬其于常德府龙阳县。那么，究竟葬在哪里好呢？从当时的情况来看，在杨嗣昌所有的亲属中，权势最大、关系最密切者，莫过于龙阳人袁鲸。袁鲸是杨山松的岳父，字石麟，龙阳（进汉寿）人。万历己未（1619）进士。初授丹阳县令，后擢南台御史。为首弹劾贪官吏部尚书王绍徽、都御史齐应甲，官场风气为之一振，时人莫不景仰。崇祯初年，破格晋升为翰林院掌院学士。后任陕西提学使，擢都察院左副都御史。为官清廉，颇有政声。杨氏家族认为，把杨嗣昌安葬在袁鲸的祖山是较为安全的。
袁鲸的祖山在龙阳县兔子哨，今属沅江市新湾镇丽园村月形组。这里是洞庭湖西南部赤山岛最南面的一个山头，上世纪五六十年代叫杨阁老公社蠡园大队月形山小队。整个山头好象一个半圆形的岛屿，从上到下象半边月亮弯着伸向湖中。与从下而上的半圆形湖汊形成一个“太极圈”似的独特地形。古时候森林茂密，山上有七棵高大的樟树。最后，杨嗣昌的陵墓就在建在这七棵大树中间。当地人称为“七星伴月”。这里毗邻洞庭湖的水路要道，是长沙往常德的水路必经之地。过往船只远远就看到七棵参天大树，行船人以大树为标志，好象用手对着大树作揖打拱。每逢傍晚来临或刮风下雨，过往船只必须到月形山下的湖汊过夜，船上灯火点点，俗称“日有千人打拱，夜有万盏明灯”，的确是一块风水宝地。胡伏虎从此无意戎马仕途，自愿在赤山岛结庐为杨大人守墓。为掩人耳目，胡改姓宋，因曾带过兵，人称宋百户。自从杨嗣昌葬在这里以后，山下的天然湖汊就成了理想的避风港湾，停靠的船只越来越多，湖汊的右岸逐步形成了一个集镇，取名“杨阁老镇”。
胡伏虎有一个快二十岁的儿子，叫胡孔征。胡孔征既不爱学文又不喜习武，而热心于买卖经商和求田问舍。胡伏虎心灰意冷，身与心都随杨大人去了。胡伯隆族长没法，只得独自带孙儿胡孔征一起生活。胡统虞举人是个仁意之人，有空就来胡族长家串门，一起说话解解闷。这样的日子，过的很快。转眼，又一年多的时间过去了。
