他之所以被贬官就是因为自己不成体统，毫无理性可言，最终得罪了皇帝也得罪了百官，给后人留下了笑话。
他是宋朝最著名得书法家，跟苏轼，黄庭坚等文学大家互为好友，关系非常的友好，但在他这几个好朋友中他是最奇怪的。甚至有民间称他为疯子。他这个人唯一的爱好就是对石头非常的喜爱，虽然古时候文人们都喜欢赏玩石头，但是他却因为过度的痴迷耽误了官事，受到了朝廷的指责。更严重的时候被百官弹劾他玩物丧志。
但是无论别人在背后怎么说他，她还是我行我素，痴迷石头。史书记载某一年，一座府衙里面有一块年代久远的石头，他看见以后喜欢的不行，急忙给石头跪下，甚至事后想认这块石头为亲戚。衙门中侍卫也非常懂得巴结别人，就把这块石头作为礼物送给了他。最后迫于百官的舆论压力。
皇帝将他贬谪到一个小县城里面。但他并没有在意，之后他不参与当地的政务，天天地跑到市场去淘买石头。每天玩的不亦乐乎，忘乎所以。之后的有一次，他发现了一块被当地百姓奉为神石的石头。喜欢的不得了，就认这块石头为兄长，百姓觉得他不适合当官，纷纷谴责，对他的行为痛斥。
还有就是他倔强的脾气也被史书所记载，相传某年国事，他因为自己的衣服脏了不断的清洗，即便污渍已经洗干净了还不放手，直至后来连官服上的花纹都洗掉了，把皇帝气的不轻啊。
最终他也因为自己的不得体统，丢失了官职，贬为庶民。