房州又称房陵、房子县。以“纵横千里，山村四塞，其固高陵，如有房屋”而得名。房州四面环山，中间河谷盆地断裂，从风水上说是困龙局。又因为地处中国中部偏僻一角，四面崇山峻岭，山林密布，四塞封闭；所以被流放到这里的大臣皇族不用考虑被外族或外敌所劫持的问题；更难以与朝廷中内敌相互勾结。这里似乎自古以来就是帝王宗室的理想流放之地。最远可追溯到前秦时代。传说尧之子丹朱避舜于房陵，可谓开房陵流放之先河。秦始皇九年，长信侯嫪毐作乱被处死，株连四千余家人流放房州；秦始皇十二年，信侯吕不韦被赐死，株连万余家人被夺爵徙房州；秦始皇十九年，秦灭赵国，赵王迁献地图投降，被迁徙房陵。汉景帝孙刘勃、汉武帝时的济川王刘明、清河王刘年、隋帝太子杨勇等都曾被贬房陵。唐高宗太子燕王李忠、唐中宗李显流放房县。在任皇帝惨遭流放，又回去重新坐上皇位的唯唐中宗李显一人。距秦王赵廷美最近的是后周恭帝柴宗训。当年太祖皇帝赵匡胤陈桥兵变、黄袍加身后，柴氏天下被赵氏取而代之。赵氏对柴氏表面优待；实则提防。太祖虽下旨优待柴家寡母幼子，并赐柴氏后人“丹铁券”，但为防范后周宗室相互串通勾结；恭帝还是被贬置房州。开宝六年（公元93年），柴宗训死于房州，年仅20岁。
当初秦王赵廷美被贬至西京的时候，曾对前来送行的同僚感叹说：“你们何必要送一个死人呢？”言语中是对未来命运的深深担忧。其好友和家人劝他看开一些，对他说：“王爷莫要说丧气话，再怎么说陛下也是你的亲哥哥，您只是受了小人的蒙骗；陛下心里是明白的，过不了几年，陛下念及手足之情，恢复王爷的亲王身份也未可知呀。”秦王听了这些宽慰的话语，只是苦笑着摇了摇头。至洛阳西京后，他更加诸事小心，深居简出；即便是对家人也不肯多说一句话。饶是如此，惊魂未定的他又被降为涪陵县公，迁往房州安置，同去的还有崇仪节度副使彦进和监察御史袁廓。此二人名为房州知事，实则行监视之责。
赵廷美的所有子女原都与太祖、太宗诸子同列为皇子公主。此时早被削去了封号，外放散居，不得团聚。至于秦王府的旧人，大都被牵连受贬。在房州，他的一举一动都要受到严密监视，即便是他想做一个无拘无束的平头百姓也断无可能了。初时，每每看到楚王派来的使者信，尚能宽慰几日。而今，他数次告病乞归的折子都不准上报。唯一一个同情他的楚王如今也被禁足。如此坐困愁城，思来想去，几乎再无生路。当年太祖之子赵德昭的自杀、赵德芳不明不白的猝死无不让他心惊胆战。秦王终日惶惶，加之幽愤抑郁。终于一病不起了。原本秦王肝气不舒，脏腑失和；若病情初期用心调养；舒畅情志，病情尚可好转；而今竟至腹内结块，逐渐成为积聚之恶侯。秦王自知时日无多，也断了生念；尽管秦王妃苦劝哀求，终是汤药不进，任由疾病发展。被流放到房州没有多久，秦王赵廷美吐血而亡，享年38岁。他终究没有等到楚王为他苦苦求来的特赦之诏。
房州噩耗传入朝廷。太宗对赵普及一众重臣痛哭流涕说：“朕的这个弟弟，从小就是性情顽劣，长大了也没改进多少。以前他闯了祸，都是先皇和朕替他挡着。不知道惹下多少祸端。说起来也是朕的家事；众位爱卿原本不知道，朕这个三弟廷美，并非朕的亲弟弟；他的生母，是朕的乳母陈国夫人耿氏。廷美虽是耿氏所生，但从小也在昭宪太后身边长大；所以太祖与朕都把他当做一母同胞。前年他受外人蛊惑挑唆，做出违背礼制的事情；朕念及昔日兄弟情义，始终不愿苛责。这次把他下放到房州，实指望他能收敛心性，考察民间疾苦；历练几年，日后回京了，朕再委以重任。谁知道他竟如此命薄，一病而亡了。想朕兄弟三人；如今只剩朕一个，真真是孤家寡人了；想起来怎不让朕伤感痛心呢？”言毕，太宗又是掩面哀恸。
众位大臣相互对望了一眼；连忙跪地请求太宗节哀保重。宰相赵普劝慰道：“涪陵公生前狂悖，陛下已是尽心护佑了；况且人的寿命自有天定，涪陵公即便是留在京城之中，只怕也是这个阳寿；陛下爱惜涪陵公之意，臣等都看得明白。如今天下初定；多少军国大事等陛下圣裁，臣斗胆说句话；陛下实在不宜伤心过度；当以大宋的社稷江山为重啊。”
太宗这才慢慢收了眼泪，追思前尘往事，不免感叹唏嘘。即刻下了一道圣旨：涪陵公虽为戴罪之身，然斯人已去，既往之事一概不予追究。念及手足之义，仍旧恢复秦王之爵位。其子女及王妃均被召回京城。秦王旧邸，派人好生打扫；务必在寒冬之前；召其家人回京调养。
待太宗逐渐平稳下来；众臣才各自将诸事一一上奏朝议。
“王爷回府了！”陈王府咨议赵令图和幕僚闫象早在府中等候。“举荐吕端的奏折已经上呈，只是这个吕端虽说众人称他宽厚忠恕，到底担任过开封府判官，此时举荐他，会不会有什么不妥？”闫象笑了笑说：“王爷有所不知，此次吕端被贬，据说是因为秦王府内一个下属要私自买卖竹木，吕端认为是小事就没有阻拦，结果涉嫌违法，被案子牵连才遭贬谪。实则另有隐情！”“哦？”“还记得官家亲征北汉吗？”“父皇亲征北汉，诏命秦王叔留守开封，秦王叔本已从命，后来却力求伴驾出征，难不成是吕端的主意？”“王爷英明！那时秦王身份敏感而不自知，是吕端提醒他说：如今圣上不顾风雨、风餐露宿，出征讨伐北汉。您作为皇室宗亲，身处贤佐的位置，应该为人师表，随驾亲征。倘若留下来执掌内廷政务，那是万万不可的。说到底，不就是委婉提醒秦王避嫌吗？”赵令图问：“这又说明什么？说到底吕端还是因为秦王受牵连，王爷举荐他会不会违背圣意？”“不不不，前几日父皇还说过吕端小事糊涂，大事不糊涂。如今秦王叔已薨，父皇恢复了秦王叔的爵位称号，举荐吕端，恰是知人善用”陈王话尚未完，却见阿晋急匆匆进来说：“适才手下人来报：楚王疯了！”陈王、赵令图、闫象几乎同时站了起来：“你说什么？谁疯了？”“楚王！”“消息可靠吗？”“属下一个远亲正好在楚王府当差！”“人呢，快召他进来，本王要亲自询问。”“是，属下现在就召他进来。”