据说黄石公是秦始皇的父亲的一位伟大的大臣。他姓魏名辙。他的父亲庄襄王死后，秦始皇掌权了。他武断行事，实行暴政，不听从建议，也不听取忠诚长者的意见，卫哲带着王冠退休，骑马离开了宫廷。秦始皇听说卫哲已经走了，他认为自己还年轻，虽然已经登上了王位，但仍然不稳定，需要别人的帮助，此外，卫哲是秦始皇的老大臣，如果他离开了，他会让每个人都嘲笑他空间不足。
于是他把他的亲信带到了骊山脚下，想尽一切办法留住他。卫哲下定决心，拒绝回去。后来，他隐居在邳州西北部黄山北麓的黄花洞。因为人们不知道他的真名，所以他们叫他黄石公。世人称黄石公“圯上老人”、“下邳神人”，皇甫谧的《高士传》:黄石公，下邳，也被秦朝扰乱了，自从他说出了自己的名字，就没人知道了。
他隐居黄山著书立说，留下《太公兵法》、《黄石公略》和《雕刻天书》。他把《太公兵法》和《黄石公略》传给了张亮，把《刻天书》传给了曲阳的两个弟子宋天昊和杨艺源，直到那时，曲阳人才学会雕刻，曲阳县成了“雕刻之乡”，闻名于世。虽然黄石公过着隐居的生活，但他的心总是为国家和人民担忧，他把一生的知识和理想都献给了写作。
秦汉时期具有代表性的道家、思想家和战略家黄石公在《史记·留侯世家》中说，他避开了秦朝的混乱，隐居在东海之下。经过与张良的三次试验，黄石公获得了“孙子兵法”，临走时，他说，“十三年后，在冀北古城山脚下，黄石公将会是我。”张良后来用黄石公给的军事剧本帮助汉高祖刘邦赢得了天下。