都说了是“一代名相”，做了宰相还叫不得重用？应该问的是为什么最后被贬。那一来是得罪了更有手段的奸相李林甫，二来是他的性格太耿直不招玄宗喜欢，三来卷入玄宗继承人之争。
张九龄，岭南人，出身平民，才学出众。李隆基为太子时广揽天下人才，张九龄参加策问，被选中，自此获得重用。此后张九龄在朝中声名鹊起，被时任中书令（首席宰相）的张说看中，认为同宗，大力推荐。张说后被贬，张九龄受到牵连，外放各州郡，直到张说死后，玄宗想到张说曾多次推荐张九龄，于是将其启用。由于当时的宰相韩休、萧嵩互相攻击，双双被贬。张九龄与裴耀卿入相。二人都品行高洁，才华横溢，并且精诚团结。朝政一时清明，欣欣向荣。让已经由渐渐明转昏的玄宗朝呈现出一派生机。
但是，“口蜜腹剑”的李林甫来了。李林甫是李唐远支宗室，论辈分是玄宗的远房叔叔。靠着舅舅楚国公姜皎（玄宗早年宠臣）的提拔做了小官。但姜皎卷入开元十年废后风波被贬后死于外地。李林甫又走宰相源乾曜的儿子的门路，却被源乾曜抨击品行不正。
仕途浮沉，终于靠着帮助宇文融斗倒中书令张说，得以重新获得重用。通过巴结玄宗最宠爱的武惠妃和宦官高力士，并得到了宰相韩休的好感。有这三人的推荐，李林甫成功入相，以礼部尚书、同中书门下三品，成为中书令张九龄、侍中裴耀卿之后的第三宰相。
首先，李林甫入相之初已与张九龄有了矛盾。玄宗准备任命李林甫为宰相时，询问张九龄的看法。张九龄直到李林甫之前走过很多人门路，对其不屑一顾，于是说任用其为相，担心将来会危害宗庙社稷。李隆基没有听，依然任用李林甫入相。所以李林甫听说了这个评价，自然对张九龄咬牙切齿。更何况，张九龄的中书令是首席宰相，为了最高权力，李林甫也要与张九龄拼个你死我活。
此外，张九龄才华横溢，所欣赏的人也都一个个学富五车。而李林甫家道中落，没有好好读书，所以难免闹笑话，比如曾将“弄璋之喜”的“璋”写成“獐”。被饱学之士们嘲笑为“弄獐宰相”。他推荐的户部侍郎萧炅又被张九龄看重的中书侍郎严挺之发现把“伏腊”念成“伏猎”，又是大肆嘲笑，张九龄乘势罢黜萧炅。李林甫更恨他们。
第二，张九龄性格太耿直，屡屡犯颜直谏。全不及李林甫圆滑聪明。比如李隆基准备从东都洛阳提前回长安，张九龄认为正是农忙时节，车架出行影响收割。但是李林甫却能提出免除沿途百姓今冬赋税，巧妙解决问题。另外，李隆基准备提拔牛仙客为尚书，遭张九龄拒绝，退一步准备给他实封，又被拒绝，君臣面折廷争，非常难看。而李林甫又对李隆基给予了支持，牛仙客成功获得实封。
李隆基之所以一直不罢黜张九龄，是因为他正直。最后，李林甫从此处下手，借严挺之为前妻的丈夫刺史王元琰走门路的事，指使手下告严挺之徇私，张九龄不知是冲着自己，居然为严挺之辩护，说严挺之已与前妻离婚，不算徇私。结果玄宗大怒，作为严挺之的推荐人，张九龄被罢为尚书右丞、裴耀卿也被牵连罢为尚书左丞。李林甫大权独揽，连牛仙客都当了宰相。
第三，卷入玄宗继承人争端
张九龄虽被罢相，仍在朝中。谁知又发生了“三庶人”事件。李隆基宠幸武惠妃，武惠妃便想尽办法陷害太子和两个兄弟，让自己的儿子寿王李瑁做太子。张九龄拼命保护，而李林甫则为了报武惠妃提拔之恩，一力支持。最终，玄宗听信三皇子造反的谣言，废三个儿子为庶人，不久赐死。张九龄也因为触怒玄宗，被彻底罢黜出京，外放为荆州大都督。