他之所以被贬官就是因为自己不成体统，毫无理不可言，最终得罪了皇帝也得罪了百官，给后人留下了笑话。他是宋朝最著名得书法家，跟苏轼，黄庭坚等互为好友，关系非常的友好，但在这几个好朋友中他是最奇怪的。
甚至有民间称他为疯子。他这个人唯一的癖好就是对石头非常的喜爱，虽然古时候文人们都喜欢赏玩石头，但是他却因为过度的痴迷耽误了官务，受到了朝廷的指责。
更严重的时候被百官弹劾他玩物丧志。但是无论别人在背后怎么说他，他还是我行我素，痴迷石头。史书记载某一年，一座府衙里面有一块年代久远的石头，他看见以后喜欢的不行，急忙跪下，甚至想认这块石头为亲戚。衙门中侍卫也非常懂得巴结别人，就把这块石头作为礼物送给了他。最后迫于百官的舆论压力。皇帝不得不将他贬值到一个小县城里面。但他并没有在意，之后他不参与当地的作物，要是天天地跑到市场去淘买石头。每天玩的不亦乐乎，忘乎所以。
之后的有一次，他发现了一块被当地百姓奉为神石的石头。喜欢的不得了，就认这块石头为兄长，百姓觉得他不适合当官纷纷谴责，对他的行为痛斥。之前认亲戚实在衙门里面，都是官府自己的人，而这次认兄长却是在大庭广众之下。百姓们一传十，十传百，他疯子的名声便从此在民间传开。
他自己最终也是因为自己的不得体统，丢失了官职，贬为庶民。