瑞州辖高安、新昌和上高三县，其名胜古迹颇负盛名，仅州府背后的碧落山上就有好几处，其碧落堂名声最大。碧落山原叫凤山，相传唐武德年间有凤凰飞集此山，故有“凤山飞翔”之说，山名正是因碧落堂落成而改，苏轼、苏辙、陆游等大诗人都曾慕名到此游历赋诗。再如位于城南街的三贤堂，为奉祀余靖、苏辙和杨万里而建，也名扬遐迩。然而，因三年前一支蒙古军到此杀戮焚掠，景定四年（1263）年末文天祥赴任时，城郭仍满目疮痍，这里的名胜古迹也十有九毁。
其民生凄苦可想而知。传说文天祥进城时，遇到一白发老汉在自家房上揭瓦，问之何故，回答说已三天无米下锅，只得卖瓦糊口。社会治安混乱无序，郡兵骄横成性，目无纲纪，不法之徒趁机敲诈勒索，州府门前的文告竟被涂上了牛屎，搞得民心惶惶。
士虽有学，而行为本。文天祥主张身体力行，言行一致，认为“君子之所以进者，无他，法天行而已矣。进者行之验，行者进之事。进百里者吉行三日，进千里者吉行一月。地有远行，无有不至，不至焉者不行也，非远罪也”。当年向理宗建议“开公道之门”，“寿直道之脉”，而今正可践行自己的主张。
到任后，文天祥即行公道之法，抚以宽惠，镇以廉静，让人民休养生息，还从税赋等收入中提出一大笔钱款，创立便民库，供济贫和借贷之用，救天灾人祸之急。同时张布纲纪，行直道之政，严惩了一批罪大恶极的流氓恶棍，以打击邪恶势力，匡正社会秩序，为害一方的瑞州巡检刘虎便是一例。
文天祥三拳两脚打开了局面，得到了民众的信赖和拥戴。
古人云：“天下治乱观洛阳，洛阳盛衰观园亭。”文天祥深悟此理。更何况在他的心目中，园亭多承载着先贤的精神和气节，具有教化士民、重建生活信心的功能。诚如教育家、文天祥的恩师欧阳守道在碧落堂重建后所说：“新堂之不得不复，吾聊以还承平风物之旧，慰郡人俯仰之思。”所以当民心初定，社会既稳，文天祥就着手组织修复或重建毁于兵燹的名胜古迹。
第一个重头工程是重建碧落堂。此堂建于宋初，四周古木参天，景色迷人，留有诸多名流墨客的题记诗赋，“我壮喜学剑，十年客峨岷，毫发恐未尽，屠钓求隐沦”一诗，便是陆游的感发之作。这儿还是杨万里知瑞州时的故居，堂壁上也留有他的墨迹。杨万里性格坚强，主张抗金，与当年主战派首领张浚交情甚厚，他将书房取名“诚斋”就是缘于同张浚的一次交谈，后来被贬瑞州，也是因为张浚配享文庙秉直力争得罪了孝宗。文天祥夙敬杨万里的才华和风骨，把他视作理想人格的师表。碧落堂遭难后只剩残垣断壁，杨万里的墨迹也荡然无存。
景定五年（1264）九月初九重阳节，碧落堂重建竣工，恢复了当年的风采，其“下俯万山，一水穿城，南北岸万家鳞鳞楼台，皆可指数。诚斋先生杨文节公（杨万里）在郡日，诗为此堂赋者八章，其状烟云吞吐，晴阴变化，真若游汗漫而凌倒景”！文天祥特意将杨万里《锦江尺牍》的手书复刻于堂中石上，并写专文以记其事。
为庆祝碧落堂再生，文天祥举办了一个小型的落成典礼，并当场朗诵了他的新作《题碧落堂》：
大厦新成燕雀欢，与君聊此共清闲。
地居一郡楼台上，人在半空烟雨间。
修复尽还今宇宙，伤感犹记旧江山。
近来又报秋风紧，颇觉忧时鬓欲斑。
诗人兴致勃勃登上楼台，饱览奇胜妙景，然而正如欧阳守道所说，“观图使人翛然以喜，观诗使人慨然以悲”，诗人的心在极目之外忧念着国家的命运。勿忘“秋风紧”啊，蒙军正在襄、樊一带活动，蒙古政治中心南移燕京，正伺机卷土重来；忧时“鬓欲斑”啊，外敌觊觎，朝政腐败，谁知新堂又会在哪一天化为灰烬呢？欧阳守道阐释道：“然悼心前事，安得使百万亿苍生尽免于堕巅崖、受苦卒，然后我处清高隔风雨之地位，再无戚然于中乎？予是以有感于君之诗。”
《题碧落堂》被认为是文天祥早期诗歌的代表作。
文天祥的诗作存世共八百三十余首，其中早期诗作二百四十多首，这些诗中题赠相士、谈命、太极数、银河数、丹士、道士的约五十首，其他庆吊、送别、题赠等应酬之作约一百首，两项占去了五分之三。钱钟书先生曾指出，文天祥早期的这些作品可以说全部都是草率平庸之作。这与理学家们以崇道为本、轻视诗赋有关。文天祥也主张文章不能离忠信，诗歌“吟咏性情之正”，也是阐释义理的一个手段。而且，“累丸承蜩，戏之神者也；运斤成风，伎之神者也。文章一小伎，诗又小伎之游戏者”。把写诗比作游戏中的小技能，这种以诗为戏的观念，加上日常生活中出于友善和同情的匆匆题咏、琐琐酬应，都非发自内心，就不能不影响到他早期诗歌的思想性和艺术性。
而《题碧落堂》却不然，这首诗是发乎内心的有为之作，其意境也非同一般。在诗中，文天祥以极具想象力的描写，把对楼台美景的感受和感时忧国的心情表达得淋漓尽致，以其巨大的反差冲击感染着读者，使读者加入了诗人忠肝义胆的感情激荡，并沉入炽烈而绵长的思绪。像这样抒情言志、将生命意识与国家命运水乳相融的佳作，在文天祥早期作品中也并不少见，如《山中感兴》、《生日和谢爱山长句》、《夜坐》等诗篇，都是血肉饱满、感情丰沛的疼痛之作，这与后来的正气凛然传诵千古的诗文，在精神上是一脉相承的。
文天祥主政修复的另一处重点项目是三贤堂。三贤之一余靖，因上疏为范仲淹申辩，庆历年间被贬谪瑞州；其二苏辙为营救其兄苏轼，于元丰年间被贬到瑞州；其三便是杨万里，也是因为在孝宗淳熙十五年（1188）上书皇帝触怒圣颜，被贬瑞州。瑞州把三位直官尊为三贤，建堂以纪念。文天祥十分敬重此三贤，为劫后三贤堂施以重建，并写了一篇《瑞州三贤堂记》，颂扬三贤，为三贤鸣不平，说他们“在瑞州之时，乃心罔不在王室”，借以镜照自己的心声。
在瑞州仅短短的一年，文天祥便主持修复或重建了碧落堂、三贤堂、翠微亭、月朗堂、竹庵、秀春亭、松风亭、靖节祠等场所，以尊崇先贤，凝聚民众重建生活的意志和信心。其中靖节祠为新建，他去新昌县寻访陶渊明旧居遗址归来，即在碧落山上创建此祠，以奉祀这位坎坷不仕的大诗人的高渺文心和不为五斗米折腰的铮亮风骨。
文天祥注重建设、使用文化场所，目的在于教化士民，倡导君子进德修业。
为此他还亲自讲学。
讲学的场所是西涧书院。这儿原为纪念乡贤刘涣及其子刘恕、孙刘羲仲的“三刘祠”，创办书院后以刘涣的别号“西涧”命名。文天祥对三刘也敬重有加。刘涣刚正不阿，弃官隐居庐山；刘恕精于史学，曾协助司马光纂修《资治通鉴》。苏辙曾称赞父子二人“洁廉不挠，冰清而玉刚”。刘羲仲博览群书，发扬祖辈风节，也一直为人称颂。他们身上的闪光正合文天祥要讲的内容，在此讲学便获得了绝妙的气场。
文天祥选择释菜的时机，先领学生施行了祭祀乡贤的礼仪，接着就开讲。
其主题是针对当下士行不端的流弊，倡导“忠信进德，修辞立诚”。
所谓德，就是德行，业就是功业，进德修业就是进益道德，修营功业。文天祥指出：“夫所谓德者，忠信而已矣”，而“德业如形影，德是存诸中者，业是德之著于外者”，这一切却又落实到一个“诚”字，“天地间只一个诚字，更颠扑不碎”。
接着，他揭露了那些高谈阔论、故弄玄虚的大言、浮言、游言、放言，指出这些并非出自本心的言论有害于忠信，痛斥了“心口相反，所言与所行如出二人”的伪君子。他最后指出：“至诚无息，不息则久，积之自然如此。”所谓“诚”，即“言行一致，表时相应”，“不欺诈，无矫伪”。“诚者道之极致”，“即《中庸》所谓诚者天之道”。主张只有不断修持诚的德行，才能成为君子乃至圣人。
瑞州战后社会秩序混乱，适逢假道学肆行，神头鬼面之论泛滥成灾，人与人之间互信丧失，文天祥抓住一个“诚”字，从倡导进德修业来重振淳朴民风，可说是抓到了点子上。而倡导不断秉诚修持，至诚无息，也体现了他高远的政治眼界和法天地不息的哲学观。
文天祥曾在给江万里的信中说：“某他无能为役，至于守其本心，不与流俗为轩轾，以求上不负知己，下不负嵬琐之所存，则或可无愧作于此。”
一个“诚”字，也是他高品人格的底色和基石。
讲学之外，文天祥抓住一切机会弘扬传统文化和价值理想。
如有一位邹道士，有道术，用他的丹方治病效果颇佳，文天祥在给昭德观写的一篇序文中，拿此道士与“仙人”做了比较：“仙人之所以谓丹，求飞升也；高士之所以谓丹，求伐病也。仙人之心，狭于成己；高士之心，溥于济人。且夫兼人己为一致，合体用为一原，吾儒所以为吾儒也；重己而遗人，知体而忘用，异端之所以为异端也。高士非学吾儒者，而能以济人为心，噫，高士不贤于仙人欤？”文天祥借褒奖邹道士，宣扬了人己相兼、体用合一的儒家仁德。
再如有一次，文天祥专程去瑞州城西五十余里的坡山朱村（今属村前乡），参加一座叫垂裕堂的大祠堂的落成典礼。在典礼上，文天祥赠诗一首：
造物含至理，诗书尚余泽。
德乃福之根，寻常为谁植？
济济多云仍，绳绳继清白。
麟凤玉为姿，芝兰秀方硕。
非福安有此，唯善斯乃德。
甘棠荫蔽芾，五袴歌洋溢。
身虽佐一郡，位不满其德。
天将裕斯后，益见光显赫。
诗为心声，他劝人也律己，做人做官要像玉石和芝兰那样美洁，行善积德。诗中用了甘棠这个意象，典在召公。召公姓姬名奭，是西周初期的著名政治家，三公之一。他下乡时，就在田间地头办公，地方官吏要群众腾出房屋供他休息，烧茶备饭招待他，他说：“不劳一身，而劳百姓，不是仁政。”就坐在山野的甘棠梨树下休息，摘吃棠梨果子解渴，夸赞甘棠树浓荫郁葱，果实甜酸适口，百姓劳作累了，正可休息解渴，叮嘱要好好保护此树，不要砍了当柴烧。后人把这叫作甘棠遗爱，尊召公为天下廉吏之祖，作诗《甘棠》歌颂他问政阡陌、广施仁政、劳己爱民、为公不私的精神。可见文天祥在诗中更多的是抒发了自己的从政理想。
作为知州，文天祥日理万机，却不高高在上，也像召公那样深入地头田间，了解民间疾苦，据以处理政务。他也像杨万里那样住在碧落堂旁，并将住处题匾“野人庐”。野人即是白身、贫民，以贫民之心体恤民情，方可俭以奉身，正道直行。
他的另一首早期代表作《贫女吟四首》，即反映出了他对底层百姓的体恤和同情：
柴门寒自闭，不识赏花心。
春笋翠如玉，为人拈绣针。
竹扇掩红颜，辛苦纫白苧。
人间罗雪香，白苧汗如雨。
西风两鬓忪，凉意吹伶俜。
百巧不救贫，误拜织女星。
巧梳手欲冰，小颦为寒怯。
有时衿肘露，颇与雪争洁。
一位贫家少女一年四季辛辛苦苦地刺绣缝纫，却在大雪纷飞的冬季临窗梳头时，因衣裳单薄破旧露出了手肘，这是何等让人心酸的画面。
