从这以后 ，李隆基闲住在宫中，不是追忆梅妃，就是思念杨玉环，肃宗李亨体谅父亲，经常过来看望他。
李亨令以前侍奉李隆基的人，仍然随侍在他身边。
就算是梨园歌舞团成员，散落在民间自谋生路的，也一律召还，按时发给工资，能回来侍奉李隆基晚年高兴就行。
做了这些，怎奈李隆基还是郁闷不乐。在大明宫举办的李隆基生日宴会，本来是一场喜庆事，因为李隆基情绪低落，大家也高兴不起来。
悍妇张皇后和奸贼李辅国，李隆基平常不喜欢他俩。
既然这样，他俩就向李亨给李隆基进谗言。
他俩都说：
李隆基心里不高兴，是另有隐情，他后悔自己不是皇帝了，他还有野心，不可不防他乱作为。李亨耳根子软，被说得将信将疑。
这时候张皇后的儿子李佋得病医治无效死了，张皇后因为悲伤心生冤恨，说李隆基老而不死是个老贼。
她对李亨说：
“老家伙整天无缘无故地抹泪哭泣，哭坏了皇室家族的运气。
老东西哭哭哭，给我儿子李佋哭来了躲不过去的一场生死大祸。”
从那以后，张皇后白天黑夜地同大太监李辅国商议，要想办法发泄仇恨。
在一天，李隆基登上皇宫边上的长庆楼 ，长安百姓从楼下路过。
皇宫围墙不高，李隆基站在靠近围墙内的高楼上，老百姓一抬头能真切地望得见他。
百姓们隔着皇宫围墙，都纷纷跪地下拜，齐声喊：
“太上皇万岁！”
“太上皇万万岁！”
李隆基平时藏在深宫闷得慌，看见了百姓也兴高采烈。
他命令太监们打开的小宫门，拿出些美酒、美食，分赏给百姓们，让他们拿回家享用。
李隆基召护卫皇宫小宫门的禁卫军将军郭英义，让他上楼侍宴陪吃酒席。
李辅国想：这件事可以小题大做，大肆发挥，他入宫对肃宗李亨说：
“太上皇住在兴庆楼，他不安守本分，天天和兴庆宫以外的人沟通交流，和他们关系处得火热。
他和阵玄礼、郭英义、高力士等人，秘密协商对陛下您不利的行动。
如今六军将士，多是跟随陛下您保卫国家的功臣，大家都心生疑虑，都担心太上皇拥旧将旧兵要东山再起。
他们一伙人东山再起了，将把我们这些为了复国苦战立功的将士们至于何地？
我千方百计给他们解释，他们还不能消除疑虑。
发生了这样的情况，我不能不向皇上您如实说明。”
肃宗李亨听了沉吟不说话，过了很好时间才说：
“太上皇仁慈善良，干不出这样的事来。”
李辅国又说：
“太上皇本人或许没有重掌天下的心思，恐怕一群小人整天围着他转，蒙蔽太上皇，这样下去有可能导致发生不测事变。
陛下您才是天下的主宰，他已经退休了。
您应当为国家前途未来着想，防患于未然，处理变乱在萌芽状态。
难道堂堂天子能像布衣平民那样对长辈听之任之的只管愚孝么？
并且兴庆宫和老百姓住宅区只隔着一道矮墙，不适宜太上皇安宁养老，不如让他搬到远离宫墙的大内深宫幽静安宁。
建议让太上皇搬家住进内宫深院，这样既可远避纷乱世态，还能让他隔绝那些怀有异心的小人。
避免小人同他联系频繁紧密，迷惑太上皇的心智。”
李辅国自己是个奸邪小人，还张口闭口说人家是小人。
肃宗李亨听了不禁流下眼泪来，语气舒缓地说：
“太上皇喜爱住在兴庆宫，为什么动不动就逼迫他搬家挪地方？”
话刚说完，李亨看见张皇后走过来，她在一旁接着李辅国的意思说：
“妾为陛下盘算，觉得也是应该告诉太上皇，让他从兴庆宫搬走，这样可避免发生变乱隐患。
原陛下采纳李辅国的忠臣良言。”
两个奸人进谄言时，李亨还有父子情，但是李亨太懦弱，不敢正言厉色震慑他俩进谄言。
张皇后见李亨沉默不发，忿忿地说道：
“今天不听良言，以后发生了事情，不要光知道后悔！”
言辞强悍泼辣地说完，张皇后一扭头一转身，气昂昂地去了后宫。
肃宗李亨仍然左右两难，做不出任何决定。
李辅国退出朝堂，挨个指使皇宫禁卫军将领，让他们都去向李亨下跪奏请，请求奉迎太上皇搬到西北角内宫。
肃宗李亨听了只是哭，一句话也不说。不知道为什么如此懦弱,皇帝没有皇帝该有的威严气场,只会怨妇式哭泣流泪。
李亨他爹李隆基远比唐太宗李世民缺乏胆识气魄、缺少英雄气概，李亨也好不到哪里去。
众将领跪求李亨，李亨不知所措的时候，奸臣贼李辅国假惺惺地来给李亨打圆场。
李辅国口气严肃地对禁卫军众将领说：
“圣上英明，自然会听从大家的请求，你们都退下，听候消息。
别再跪在这里不肯起来了！”
他一发话，众将士才纷纷起身散去。
肃宗李亨有多优柔懦弱？让父亲李隆基搬家他不忍心，不让父亲搬家，众人又不依不饶。
为这事，他忧郁愁闷得生了病，躺在床上好几天不能上朝了。
李辅国见李亨优柔没有主张，还愁得生病不上朝理政了，竟然大胆替他做了决定。
李辅国对禁卫军将士、宫中太监们，假传李亨圣旨，先把兴庆宫马厩养的好马三百匹，牵走了二百九十匹，只给李隆基留下十匹。
然后令皇宫禁卫军铁甲骑兵五百人，各持刀剑待命在睿武门外。
李辅国自己走进兴庆宫见李隆基，对李隆基说：
“皇上有诏令，命令宫人今天行动，迎奉太上皇搬家到西北内宫。”
李隆基不搭理他，骑上马出了兴庆宫，高力士也骑马在后面跟随。
李隆基想要去问问李亨这是怎么回事。
李隆基到达睿武门，一眼看见睿武门外，皇宫禁卫铁甲骑兵都身披铠甲骑在战马上，几百兵马密密地站在门外，都举着寒光闪闪的刀枪剑戟，杀气腾腾地往这边看着，严严实实地挡住了李隆基的去路。
李隆基吃惊地问：
“你们要干什么？”
铁甲骑兵们声音洪亮地回答：
“皇上担心兴庆宫低湿狭小不安全，我们奉命执行任务，迎请太上皇搬家去西北内宫。”
李隆基有些愣神，还没来得及做出反应，李辅国直接走到李隆基身边，一伸手夺去了他手里的马缰绳。
猝不及防被夺去了牵马缰绳，李隆基吃了一惊，差一点从马上摔下来。
高力士急忙走到近前，朝李辅国摇摇手说：
“今天既有事需要变动，也得顾全礼节礼仪，为什么惊吓太上皇？”
李辅国呵斥高力士：
“你这位老大爷太不懂事！”
高力士听了勃然大怒说：
“李辅国你别这么蛮横不讲理！
这是五十年太平天子，你今天目中无人惊吓他，你想干什么？”
李辅国见高力士话语不相让他，才觉得自己言行有些唐突，慢慢地走开。
高力士又代替李隆基宣诰旨说：
“太上皇让我问问将士们，你们没有事赶紧退下，不必簇拥在这里护驾！刀剑林立你们想干什么？！”
禁卫军骑兵们见李辅国已经气馁后退，也不敢倔犟逞强，便一齐下马，放下兵器，倒身朝李隆基跪拜，三呼万岁才骑上马退走。
高力士呵斥李辅国：
“李辅国！你过来为太上皇牵马！”
李辅国只好乖乖地上前，牵起马缰绳，和高力士一左一右陪护李隆基，引导他骑马走进西北内宫，到达甘露殿中。