诸葛亮掌权后，提拔一大批籍贯是荆州的人，以作为蜀汉的后继人才库，这其中就有马谡，还有杨仪、蒋琬、费祎、董允等人，而马谡作为诸葛亮最早提拔的人，在诸葛亮第一次北伐中，诸葛亮力排众议，提拔从未领兵作战过的马谡作为街亭守将，从诸葛亮的角度来看，这是给马谡立功的机会，但是马谡偏偏没有重视这次机会，或者说马谡理解错了诸葛亮的用意，马谡把蜀军安排在山上驻扎，这摆明了就是学当年汉中之战的刘备，占据制高点，以方便进攻魏军，获得更大的战果。
诸葛亮与马谡
但是，马谡犯了一个常识性的错误，就是山上没有水源，等于魏军大将张郃到达时，发现了马谡的致命错误，于是把马谡围了起来并不进攻，几天以后，马谡驻扎在山上的军队没有水喝，人没有水喝最多维持三天生命，何况是要拼体力打仗的士兵呢，于是马谡所率领的蜀军一败涂地，要不是王平沉着指挥，蜀军伤亡会更多。
马谡在街亭的失败，直接影响到诸葛亮第一次北伐的总体战略，因为街亭失守后，魏军向西可以进入陇右支援陇右五郡与诸葛亮主力作战，同时魏军继续向南进发，可以控制并切断蜀军的退路--祁山道，如果诸葛亮不退兵的话，那么整个北伐大军的后路有可能会被魏军切断，那将是灭顶之灾，所以，马谡失败的消息一传来，天生谨慎的诸葛亮立即选择了退兵。
北伐可是诸葛亮在刘备去世后，历经五年时间再次培养出一支精锐部队，生产了充足的粮食与补给，结果轻易因为马谡的错误而全盘皆输，所以第一次北伐失败诸葛亮要承担首要责任，就是他用人不当的责任，为了维护法制，平定人心，诸葛亮选择了斩马谡，连同一起违背命令的将军张休、李盛一起斩首。
诸葛亮在斩首马谡的时候，他是哭着杀了马谡的，原因有几点：
马谡与王平
一、因为私人感情。
诸葛亮与马谡及马良的私人感情很好的，他们很早就认识了，诸葛亮在襄阳隆中生活了十几年时间，而马谡就是襄阳宜城人，离诸葛亮家不远，他们在荆州培养了私人感情，到了益州之后，因为荆州被东吴孙权夺了回不去了，身在益州的荆州人很容易产生乡土感情，包括诸葛亮也算半个襄阳人，他老婆是襄阳人，他在襄阳又生活了十几年，
于私
，他们关系良好。
诸葛亮执法一向铁面无私，并不会因为与马谡关系好，就不杀他，相反，诸葛亮为了维护法律的尊严，更应该杀了马谡，但是杀马谡可以，诸葛亮还是忍不住动了私人感情，落泪了，这是诸葛亮真挚的感情，所以诸葛亮哭了。
二、因为国家缺少人才。
蜀汉政权是外来政权，在益州建立政权后，他采取的是外地人管理本地人的模式，也是少数人管理多数人的模式，这是蜀汉政权的国策，是刘备时代就确定的，是不容更改的，但这种模式有个毛病，就是人才非常缺少，因为统治阶层要从荆州等外地人中选择，这个选择的范围本来就相当狭窄。
诸葛亮问罪马谡
马谡就是这批荆州中的人才，虽然有些纸上谈兵，但马谡在刘备时代就已经做到了太守的高官，没有能力的话能做到吗？况且诸葛亮在南中之战亲自测试过马
谡
的才能，还得到了验证，马谡再怎么犯错，也还是个人才，现在迫不得已要杀了马
谡
，等于蜀汉又少了一个人才，本来就正值用人之际，现在还要杀人才，诸葛亮感到很痛心，所以他流泪了。
三、因为法律面前人人平等。
陈寿在三国志中对诸葛亮的评价是：
尽忠益时者虽仇必赏，犯法怠慢者虽亲必罚，服罪输情者虽重必释，游辞巧饰者虽轻必戮。
这简直就是一个铁面无私的包青天啊，哪怕是诸葛亮再亲近的人，只要犯了罪就必须处罚，哪怕是诸葛亮的仇人，只要有功就会赏赐，诸葛亮赏罚是不避仇人亲人的，因为他在蜀汉汉中所采用的理念就是：依法治国，法律面前人人平等。所以马谡犯了罪就要处罚，在第一次北伐时连诸葛亮本人都自降三级，对于马谡的处罚就是斩首。
诸葛亮挥泪斩马谡
虽然法律无情，但是诸葛亮首先是个有感情的人，为了维护法律总得做些自己不愿意做，或者让自己感到伤心的事，比如斩马谡就是，所以诸葛亮哭了。
四、因为要平定将士民愤。
其实第一次北伐失败后，有一些对诸葛亮及蜀汉政权不满的人在背后看诸葛亮的笑话，或者努力在这事上抓住诸葛亮的把柄，同时又有不少将士因为马谡的错误感到愤怒，诸葛亮并不是只有杀马谡一条处理方法，至少还可以戴罪立功或者贬为庶人或者打入监狱等等。
但诸葛亮选择了最重的处罚方法就是杀，这是违心的，诸葛亮想要证明自己是铁面无私，同时还要平息将士因为马谡的行为导致的丧命和失败的怒火，既然是违心的，难道会感到伤心，所以诸葛亮哭了，如果可以选择的话，其实诸葛亮并不想杀马谡。