李纲情绪也很激动，他对宋钦宗说道：“天下之理，诚与疑、明与暗而已。诚则明，明则愈诚，自诚与明推之，可以至于尧舜；疑则暗，暗则愈疑，自疑与暗推之，其患至于有不可胜言者。耿南仲当以尧舜之道辅陛下，而其人暗而多疑，所言不足采。”
宋钦宗听后笑了笑，没回应。耿南仲则“艴然怒甚”，拂袖而去。
不久，宋钦宗又在睿思殿召开茶话会。刚喝完茶，耿南仲忽然站起来奏说道：“臣刚才奏对时遇到左司谏陈公辅，公辅乃二月五日联合李纲一起鼓动士民伏阙者，岂可处谏职？乞送御史台根治。”宋钦宗及宰执们闻言皆愕然。
李纲先是一愣，没料到耿南仲这么快就开始报复自己，他启奏道：“臣刚才与南仲辨论于延和殿，实为国事，非有私意。而南仲对臣之言衔恨在心，故有此奏。伏阙之事，陛下素已鉴察，臣不敢复有所辨。但臣以菲才冒处枢辅，仰荷特达之知，未能有所补报，区区素志，欲俟贼骑出疆，道君銮舆还阙，然后求归田里，臣之愿也。今南仲之言若此，臣安敢复留？愿以公辅事送有司，臣得乞身待罪。”
宋钦宗笑了笑道：“伏阙士庶以亿万计，如何结构？朕所闻知，卿不须如此。”
宋钦宗想劝他们和解，可耿南仲揪住不放，意犹未已。李纲于是再拜，起身离开睿思殿，出居启圣院。
启圣院位于皇城西角楼西侧，乃宋太宗降诞之地，是供奉宋太宗的神御殿。李纲让人将办公桌椅从枢密院搬到这里来，他要暂时待在这里。他给宋钦宗呈上一份劄子，请求去职，劄子曰：“臣闻见危致命，臣子之常分；陈力就列，古人之格言。方艰难之时，故当徇国忘躯，而于揣分量才，又有不能则止之义。辄伸愚恳，上渎天听。伏念臣赋性蠢愚，学问荒浅，比由庶僚，荷陛下异恩，擢在政府。自蒙委任，夙夜究心，外捍疆敌，内安众志。上赖宗庙社稷之灵，陛下仁圣所格，丑类退师，京邑安疆。传檄而三镇坚守，奉使而两宫协和，区区之忠，志愿粗毕。
而臣自事变以来，夜以继日，无时暂休，智术殚于思虑，意气索于忧虞，内度绵薄，实难勉强。况今朝登老成，贤智并用，正论得伸于庙堂，德意下洽于海隅。自此天下豪杰忠智之士，当连茹而进，内修政事，外攘夷狄，以副陛下尝胆卧薪之意。顾如臣者，材术既疏，心虑愦耗，深恐有误使令，以速罪戾。伏望圣慈许罢臣枢密院事，特除一在外宫观，任便居住，则仰荷陛下终始保全之恩。捐躯报国，期于异日，干冒天威，取进止奉。”
宋钦宗接到劄子后，提笔批道：“今封还卿奏。岂可如此？托付之意至矣，更勿少疑。不得再有请，虽累百章亦当封还！”
第二天，即三月二十八日，李纲又连上两份劄子，继续恳请去职。他在第二份劄子中说：“......今早进对，与大臣议论不合，遂诋臣以士庶伏阙之事，疑臣结构，至欲御史根治。伏念臣备位枢管，横遭诬蔑，有玷国体，宁不动心？”
宋钦宗在劄子上批道：“依已降旨不许，搬出启圣院，依旧赴院供职。”
李纲在第三份劄子中说道：“况因廷对，同列议论，偶有不合，遂遭诋诬，苟包羞忍耻，强颜取容，不唯有玷国体，亦将取轻于陛下，其何以协赞帷幄之谋，折冲万里？”
宋钦宗在劄子上又批道：“可赴院供职，不得再有陈请，今封还卿奏。”
李纲在第一份劄子中，并未说出要求辞职的真正原因，反而流露出一丝嘲讽的意味。他在第二份和第三份劄子中，忍不住说出了原因。很明显，李纲这是在以辞职为要挟，给宋钦宗施加压力。李纲这样做的目的，是希望宋钦宗能出手惩处耿南仲。可是，耿南仲与宋钦宗关系非同一般，宋钦宗怎么可能处罚他呢？
其实，宋钦宗知道李纲这是在赌气，并非真要辞职。这天，宋钦宗派御药内侍去启圣院向李纲传旨，令他上朝觐见，并“押赴枢密院治事”。李纲只好上马，离开启圣院。
四月一日，宋钦宗要到宁德宫去看望太上皇后，又派御药内侍去给李纲传旨，令他扈从。可李纲并不从命，他给宋钦宗写信说，自己“夜来伤风，头目昬眩”，实在是难以随班从驾，无法前往。
四月三日，太上皇还京，宋钦宗亲自出城到郊外迎接。李纲以京城守御使身份，在新东门内迎拜。太上皇头戴栗玉并桃冠，身穿销金红道袍，乘坐着色彩斑斓的七宝辇车，从兴宋门入城。京城百姓皆夹道观看，无不欣喜。
太上皇还居于龙德宫后，宋钦宗到底还是采纳了耿南仲的建议，下令将太上皇身旁内侍全部去除。于是，内侍陈思恭、萧道、李琮、张见道等十人并行贬黜，不许入门，敢留者斩。
李纲见自己的抗议毫无效果，最终还是耿南仲获胜，他心情有些低落。第二天，他又上章，恳请罢免自己的知枢密院事职务。
宋钦宗连下两道手诏，一封手诏曰：“卿忠义之志，朕所素知，方国家多难，实赖共济，不得再有，请便赴院供职。”
另一封手诏曰：“卿屡贡封章，恳求去位，自陈危恳甚骇。予闻乃者，虏在近郊，士庶伏阙，一朝仓卒，众数十万，忠愤所激，不谋同辞，此岂人力也哉！不悦者造言，何所不至？故卿不自安。殊不知，朕深谅卿之不预知也。前日宰执台谏，沮师败谋，隔塞公议，已悉罢逐。方今四海所赖以为辅佐者，多聚庙堂，朕于任贤勿贰，去邪勿疑，自以为庶几焉。卿其深体朕心，亟安厥位，以济国事。”李纲仍然不答应复职。
宋钦宗于是又令太宰徐处仁和少宰吴敏，亲自前去谕旨，请李纲复职，李纲还是不答应。宋钦宗无奈，只好将李纲诏之内殿，当面加以抚慰道：“贼马方退，正赖卿协济艰难，今遽欲舍朕，何之？前事不足介怀，宜为朕少留。”宋钦宗辞意诚恳而痛切。
至此，李纲才再拜，呈上谢表，受命就职。李纲觉得，自己虽然最终没能击败耿南仲，但也赢得了足够的面子。