建炎二年（1128年）十一月下旬，李纲被贬海南，因海南有黎族人做乱，就在雷州停了下来。传说李纲在雷州，寓居西关天宁寺一间一丈见方的禅房内。
在雷州滞留约一年的时间里，李纲先后写了《论语详说》十卷、《易传内篇》十卷、《外篇》十二卷。还写了20多首诗歌。
李刚受既是福建同乡、又是京师同窗的湖光岩楞严寺长老释琮之邀到雷州府遂溪县的湖光岩一游。与僧月下对饮，互说世道世情，畅饮行吟。明代万历年间的高州、雷州两府的地方志，就收有李纲在居留期间写的《天宁寺阁提花》与《赠琮师》。 李忠定公祠座落于邵武市的李纲路。始建于宋淳熙十三年（1186年），系朱熹在邵武讲学倡修的，并为之撰书建祠碑记，后毁。宋景定间（1260年－1264年）迁建于城东行春门外。元至正十六年（1729年）又移建于樵溪书院。明洪武二年（1369年）改书院为府学，祠遂废。明正统四年（1439年）复建于府学大成殿之东，成化六年（1470年）迁建樵溪四曲之滨。清康熙二十二年（1683年）重建于现址。其后历乾隆、道光至民国间都有多次修缮。1983年予重新整葺，辟为“李纲纪念馆”。