李纲也敏锐地察觉到一点，那就是王晨借调整宫中禁军之际，将宫中禁卫全部换成自己的嫡系人马。王晨这样的行为，李纲理解成是为了进一步掌控皇宫局势，监视无上皇和太上皇。李纲想利用这一点，说动赵桓，出手干预朝政。李纲相信。只要赵桓愿意这么做，那朝中肯定还是有人会支持响应。
因此他也在某一个午后，单独求见了赵桓。
李纲求见的时候，赵桓正在作画。但让李纲意外的是。赵桓听是他求见，好像并不情愿见一样，在磨蹭了约一刻钟后，才令人请他进去。
“李卿有空来见朕。不需要处理朝事了吗？”赵桓一句有点冷的话一下子将他今天的心情表明。
李纲听出了赵桓心中的不快，小心翼翼地说道：“太上皇北狩而归，身心俱受伤害。臣等甚是惶恐，应该经常来看望太上皇才对。今日臣处完事，记挂着无上皇和太上皇，想着天将转凉，因此也就顺道过来看看无上皇和太上皇，是否需要添置一些过冬的用物。”
“朕在这里一切都好，也不麻烦李卿挂念，李卿是国之栋梁，当朝宰辅，理应国事为重，朕这样的病残之人，也不劳李卿记挂了!”这段时间，赵桓有点郁闷，因为他并不是很自由，想到哪儿去基本不可能做到，因此在和掌握朝政大权的李纲说话时候，也是没好气。
在北方失去自由的时候，他非常渴望南归，觉得南归后，当一个不过问俗事的道人也心甘情愿。但真的回到南方，回到皇宫后，清闲的生活又让他觉得很无聊、苦闷，每天到父亲赵佶那里请安成了他放松身心的最好时光。他非常想到宫外去走走，或者到繁华的开封大街上遛遛，但守卫宫门的卫士都是以安全为由，不让他们出宫。这让赵佶有一种失去自由，被软禁的感觉。
这让他愤愤，他认为这其中有李纲的功劳，赵桓以为，他和与他相似处境的父亲、无上皇赵佶落了这样的处境，与李纲有非常大的关系。
见赵桓这样，李纲有点尴尬，他与赵桓之间原本就有许多不愉快的事发生，他并