早年随吕文德征战四方，历任高邮军军长、军长。不久后，由于形势危急，张士杰被提升为保康军大使，带兵抵抗元军入侵。这期间双方有赢有输。后来又先后担任副使、保康军节度使、查校、保少等要职。
德佑二年(公元1276年)正月，元军逼近临安。张士杰、王凤仪和王巍南逃，组织小朝廷抵抗元军南下。他的继任者签署了枢密院。成为小朝廷的核心人物。南下途中，元军多次派人投降，但张士杰坚决拒绝。景炎三年(公元1278年)正月，元军攻打雷州，数次失败。张士杰被提升为少府和汤米。同年四月，宋端宗驾崩，张士杰主持建立魏王为帝。并把法庭转给了雅山。不久后，卢秀福的后卫赵敏跳海自杀。南宋灭亡了。张士杰也在同年死于平章山脚下。