曾国藩人缘不好是因为触犯官场潜规则，当京官遭人“唾骂”。
曾国藩的说法有两种，一种是“余初为京师权贵所唾骂”，一种是“庚戌年上日讲疏内，画一图甚陋，九卿中无人不冷笑而薄之”。
曾国藩的京官生涯，仅从升迁角度看，是一帆风顺的。在京期间，他十年七迁，傲视群曹，很快从一个普通进士迅速成为“副部级”官员，这在道光年间是极为罕见的。
1，道光年间的大清王朝犹如病势危急、行将就木的病人。外部，鸦片战争让中华帝国的臣民自尊心和自信心受到颠覆性的打击。内部，腐败已渗透入帝国肌体的每一个细胞，四肢五脏，无不腐烂，一场翻天覆地的大起义正在酝酿之中。在这种情况下，大清朝的政治家们却燕巢幕上，安之若素。
道光皇帝的政治性格是因循疲沓，苟且偷安。大家如同坐在一辆老旧破车里的乘客，眼看它奔向深渊，却都噤口不言，如同不涉己事。
只有曾国藩郁怀如焚。早在道光二十四年，太平天国起义六年前，曾国藩就敏锐地预感到，一场席卷全国的大动乱正在隐隐酝酿。身居翰林之时，曾国藩只能读书养望，对国家政治没有发言权。及至位列卿贰，他以为自己终于可以一展身手了，却发现正如王蒙的那句话一样：“当了部长，才知道官小。”他在礼部副部长任上，一天到晚虽然没有片刻休息，但忙的都是些“等因奉此”之类的公事，对国家大政丝毫无补。偶尔提一些革新主张，也都被部长大学士们弃置一旁。
1850年，道光皇帝去世，年方二十的咸丰登基，罢黜穆彰阿，下诏“求言”，一时“天下称快”，朝野上下为之一振。
曾国藩心情激奋，上了一道《应诏陈言疏》，痛斥当时的“以畏葸为惧，以柔靡为恭”的官场作风，曲尽当时官场的丑恶形状。他建议皇帝举行“日讲”，即加强学习，以本身的振作之气扭转官场的泄沓之风，同时改革官员选拔办法，使进取之员有机会脱颖而出。
这道奏折得到了良好的反应，皇帝对他大为赞赏，对“日讲”建议最感兴趣，命令他详细解释。于是曾国藩精心准备讲稿，并且画了一张解释讲堂布局的图表。不过他本不擅画，这张图画得相当难看。
讲稿在九卿中传阅之后，曾国藩成了北京官场议论的中心。大家议论的不是他的赤心血诚，而是讥笑他“画图太陋”：就这个水平，还充什么圣人门徒！
其实，官场上对曾国藩这个憨头憨脑坐直升飞机飞上来的湖南愣头青早就憋了一肚子气了。“木秀于林，风必摧之”；锋芒毕露，人必非之。看到他的奏折中把京官描写得如此不堪，官员们气不打一处来。好嘛，满朝皆醉你独醒，满朝皆浊你独清？就你对大清朝忠心耿耿，我们都是废物？
因此，曾国藩的这个“笑话”很快腾于众口，风传全城，人们见了他都“目笑存之”，令曾国藩无地自容，寒了一辈子。这就是曾国藩所说的“平生第二大堑”。
2， 这“第二大堑”并没有使曾国藩沮丧消沉，反而更加激起了他对这个官僚体系的战斗决心。在一年多时间里，他满怀赤诚，尽忠竭智，先后上了《应诏陈言疏》、《备陈民间疾苦疏》、《平银价疏》等多道奏疏，全面深入地指出了种种危机，官僚体系存在的诸多问题，呼吁皇帝大刀阔斧，加以彻底改革。
但咸丰心胸狭窄，气质庸弱，完全谈不上雄才大略。他对如何驾驭大清政治心无定见，曾国藩这些呕心沥血的折子，他草草读了一遍，随口夸奖几句，事后却扔进废纸篓。曾国藩大失所望，心情越来越焦急。因为天下大乱已经从可能变成了现实。咸丰元年，太平军起，很快席卷广西。对于这场大乱，咸丰皇帝毫无准备，像无头苍蝇一样，指挥混乱，布置失措。曾国藩认为，要想挽救大清帝国，只有敲醒这个糊涂皇帝才行。在强烈的责任感支配下，以谨慎闻名的曾国藩做出了一个晚清官场极为罕见的举动：直言批评皇帝。他上了《敬陈圣德预防流弊疏》，锋芒直指咸丰皇帝的三个缺点：“谨于小而反忽于大”，“徒尚文饰，不求实际”，刚愎自用、出尔反尔。
年轻气盛而又自尊心特别脆弱敏感的咸丰皇帝的反应可想而知。史载“疏上，帝览奏大怒，摔诸地，立召军机大臣，欲罪之”。幸亏祁隽藻、季昌芝等大学士为之苦苦求情，才使曾国藩免于获罪。在大臣们的劝谏下，咸丰皇帝转而假惺惺地夸奖了曾氏几句，但又下了长篇上谕，细细为自己一一辩解，针锋相对地驳回了曾国藩的主要指责。
皇帝大发雷霆，曾国藩并不感觉意外。但皇帝的哓哓置辩，却让他认识到通过苦口直谏使皇帝猛然惊醒是不可能的。此后，他还是不断地上建议改革的奏折，不过多是就事论事，不再有类似的憨激之言了。
3， ? 本来，曾国藩在京官中人缘颇好，然而接连两次挑战“大名大位”者（得罪琦善、弹劾赛尚阿），却令人际关系网出现巨大破洞。因为琦善门生故旧遍天下，与穆彰阿关系也颇深。曾国藩打破了“官官相护”的潜规则，成为官场上的异类。“诸公贵人见之或引避，至不与同席”，背后当然更有无数诋毁之词。曾国藩在咸丰二年几乎成了京师人人唾骂的人物。
在京城的最后一段日子，曾国藩动辄得咎，精神十分痛苦，愈来愈想念家乡了。国事颓唐，他百计奋斗，却丝毫无补，不免又一次萌生了退意。
咸丰二年六月，曾国藩终于得到了江西乡试正考官的外差，他兴冲冲逃离这个让他失望而厌恶的京城，准备从此引退归山。不料刚走到安徽太和县，接到了母亲去世的讣闻，当即换装回乡奔丧，至此正式结束了他14年的京宦生涯。