北洋军阀段祺瑞执政时，在功德林庙宇的基础上兴建了一所“模范监狱”，又称“京师第二模范监狱”，1913年改名为宛平监狱。1914年，由监狱中的囚犯对监狱进行重建，竣工于1928年，蒋介石把“功德林”变成关押“政治犯”的“模范监狱”，许多著名的爱国民主人士和共产党员在这里被捕、杀害，此时，功德林已经改名为“北平第二模范监狱”。
北平和平解放后，中国共产党接管了“功德林”。人民政府用这个旧式监狱改造了数以百计的国民党战犯，取得了令世人称道的人间奇迹。
监狱的特殊布局和设置给人阴森恐怖的感觉。据说，这里的监房是按照日本监狱的模式设计的。进入监狱，首先看到的是一个广场，南面有三幢房子，前两幢是二层楼房，后一幢是平房，三幢房屋之间有两个花园。大门东面是一排排平房，共16栋，呈放射形围绕在一幢几十公尺高的八角楼四周。这座八角楼实际上是一个十六面亭，每面都对着一栋监房，亭上的哨兵可以把八条胡同、十六个监房的情况尽收眼底。十六面亭下有两个小八角楼，它们的大门都正对着胡同，每个胡同都有一个铁栏，打开铁栏，便是一个个由两壁胡同围成的三角形地带。每个胡同都按甲、乙、丙、丁、戊、己、庚、辛的顺序编名。三角形地带是专门供犯人放风的地方，上面光秃秃的，什么也没有，为的是便于监视犯人的活动情况。
功德林的16栋监房共有350多间房间，能容纳犯人一千人以上，内部设施厕所、浴室、放风庭院等一应俱全。监狱的周围还有一道高高的带电网的围墙，围墙的四个角落各有一个角楼，在角楼中，昼夜都有持枪的狱警在警戒放哨。
1955年年底，中国人民解放军总政治部、公安部联合下发了指示，要求将羁押在全国各地的国民党战犯集中起来，统一移交公安机关教育和管理，这一工作在1956年1月完成，功德林集中了分散在全国各地的近两百余名战犯。具体负责管理这些战犯的是公安部十三局，秦城监狱从成立到今天，始终都是由这个局分管，而局长则陆续换了数任。
1949年，中共公布战犯名单。到1956年，战犯这一名称，扩充到被俘的高级军政人员。最初公布的两批战犯，均为国民党内的上层决策人员：文官是省长、部长以上，武官是中将级以上。1956年成立北京、西南、西北、抚顺等战俘管理所的时候，便把被俘的文官降到行政督察专员和厅长级以上，武官降到少将级以上，个别上校一级的也“提升”，为战争罪犯进行集中学习改造。这些人中有的是地方大吏，有的握有军权可以指挥大批军队的高级指挥官，有的是杀人不眨眼、对人民犯下累累血债的特务头子。
最初到功德林的战犯是康泽和董益三。康泽是中华复兴社和三民主义青年团的创始人，是国民党特务系统的代表人物；而董益三是国民党少将，也是国民党特务系统的代表。后来集中到此的文官有四川省主席王陵基、天津直辖市市长杜建时、山东省代理主席牟中珩、国民党山东省主任委员庞镜塘和极少数的厅长等人。战犯中武官人数最多，但上将级的只有王陵基、金汉鼎俩人。王陵基在抗战时任过第三十集团军总司令，在任四川、江西省主席时，曾兼省保安司令，一直保持上将军衔。金汉鼎是原国民党军事委员会军风纪视察团上将团长，他和朱德是云南讲武堂第一期同班同学。
中将级的有几十名，如国民党徐州“剿总”副总司令、统率大军几十万的杜聿明，国民党川、湘、鄂三省边区绥靖主任宋希濂，山东绥靖主任兼山东省主席王耀武，兵团司令黄维、廖耀湘、陈金城等：特务系统中，除了与戴笠齐名的康泽外，还有军统局副主任秘书张严佛和将官级的大特务文强、沈醉、郭旭、成希超、董益三等人。
就监狱而言，功德林的条件是不错的。尽管监狱明确规定了作息时间，但在院墙内管理相对来说比较松，白天夜晚房门都不关，上厕所时也没有人站在窗口盯着，国民党第九兵团司令廖耀湘对此常说：“这才算是解放了！”战犯们可以在花园庭院里做各种体育活动，如打太极拳、做操等。在娱乐方面，战犯们可以根据自己的兴趣玩围棋、扑克牌、乒乓球等。每逢重大节日，他们还举行文艺联欢会，表演自编自导的节目。此外，他们每个星期都有一次洗澡的机会。
战犯们对监狱内的设施也很满意。监狱中有一个图书室，除了将战犯们的私人图书集中到图书室外，狱方还为战犯们购置了大量书籍和报纸，其中最主要的自然是马克思、恩格斯、列宁、斯大林、毛泽东的著作，其次是社会科学、各种传记及文艺小说等。战犯还可以请示购买自己喜欢阅读的书籍，廖耀湘就买了一些法文书，津津有味地一看就是一两个小时，许多人为此取笑他是“一本正经”。
