赵构冷面听她说完，才扬手掀翻满桌酒菜，指着她怒问：“你不过是妇人女子，如何得知军政要事？必有人教你欺我！”

刘婉仪从未见他如此盛怒，跪下请罪，颤栗着吞吞吐吐地道出原委。赵构越发恼怒，将她斥出，赐第别居，永不再召见。并连坐王继先，贬其福州居住，停子孙官。

韦太后的侍婢杨氏未活到南归后次年元旦。绍兴十二年岁末，杨氏年满六十，韦太后在慈宁宫为其庆生辰，赵构亦赐御酒一壶及金帛若干相贺。杨氏谢恩领受，欣然饮下御酒后当夜便无疾而终，“含笑九泉”。

赵构此后向太后宫人下旨道：“为太后寿考康宁计，今后慈宁宫中大小事均直接禀告朕，勿与太后商议，以免太后烦心。”

杨氏既死，韦太后的生活顿时归于沉寂。终日身着素袍独守青灯古佛，不苟言笑，只念佛诵经。虽赵构常命人供进财帛于太后宫，她亦无心去用，节俭度日，所得财帛大多闲置于库中。也极少与宫中人往来，唯准婴茀每日入省。婴茀顺适其意，曾亲手绘一卷《古列女图》，将太后容貌绘于其中，又取《诗序》之义，为太后佛堂匾额题字“贤志”。

绍兴二十六年十月，尚书右仆射万俟禼上《皇太后回銮事实》。臣下呈书于太后时亦选取大批礼物一并奉上，韦太后悉数退出不受，赵构遂向群臣大赞太后俭德，道：“宫中用不上这许多礼物。皇太后今年七十七岁，而康健如五六十岁，皆因德行感天之故。这等福泽自古帝后都未尝有。”

韦太后每年生辰赵构都会为她隆重庆祝，并不忘同时宣扬她的年岁高寿。凡见过太后的人都讶异于她远比年龄年轻的容貌，随即不免对她的德行福泽又有一番感慨称颂。

太后身体也一直较为康健，只是眼睛越来越不好，视物日益模糊，到后来完全失明。见御医对太后目疾束手无策，赵构便在国中遍寻良医。绍兴二十八年，临安守张偁推荐一位善风鉴之术的蜀地道士为太后治病。赵构召其问如何医治，道士答道：“心无为则身安，人主无为则天下治。”赵构听后若有所悟，引他入慈宁宫为太后用其术。道士以金针一挑，太后左翳脱落，左眼复明。太后大喜，再请医治右目，道士却道：“太后以一目视物已足够，另一目就用来存誓吧。”赵构厚赏道士财物，道士一无所受，辞谢而去。

韦太后眼明心静的日子亦未过多久，绍兴二十九年九月庚子，皇太后韦氏手持一串佛珠崩于慈宁宫寝殿。

太后在世时，一直希望赵构能有亲生皇子继承皇位，故始终不允许赵构正式确立养子皇子身份，更不愿他立养子为储。而在赵瑗与赵璩二子中，她也更喜欢璩，对赵构更为中意的瑗毫无援立意。

绍兴十五年二月，在韦太后与吴后的促进，及与赵瑗不和的秦桧怂恿下，赵构加封赵璩为检校少保，晋封恩平郡王，出宫外居。一时璩与瑗并为郡王，地位平等，诸臣私下称之为“东西府”。

绍兴二十五年十月，秦桧病重。他与家人及党羽商议，决定封锁消息，企图由其子秦熺代其继续把持朝政。赵瑗闻讯立即禀告赵构，于是赵构亲赴秦家，以探病为名验其虚实。秦桧不发一言，唯涕泪交流。秦熺奏问代居宰相为谁，赵构答：“此事非卿所应预闻。”随后拂袖出室，乘辇还宫，当晚便召权兵部侍郎兼权直学士院沈虚中草拟秦桧父子致仕制（即因年老解官的手续文书）。秦桧见阴谋不成，忧惧不已，于失望中咽气离世。

经此一事，赵构更为赏识赵瑗，也更着意考验。赵瑗不喜声色，郡王府中姬妾寥寥。某日赵构召赵瑗与赵璩入宫，赐他们宫女各十人。未过许久又将这些宫女召回，命人检视，见赐给赵璩的宫女已非处女，而入赵瑗府中的那些尚完璧如初。赵构虽就此未置一词，但心中已有定论。

太后崩后，赵构有意询问皇后婴茀于立储一事的意见，婴茀微笑答：“普，即‘并日’二字。普安，其天日之表也。”赵构遂一笑，于绍兴三十年二月御笔付三省：普安郡王瑗可立为皇子，更名玮。数日后，晋封皇子为建王。

绍兴三十二年五月甲子，诏立建王玮为皇太子，更名昚。

六月丙子，诏皇太子赵昚即皇帝位，是为孝宗。赵构改称太上皇帝，与太上皇后吴氏退居德寿宫。