庐山会议期间，彭德怀给毛泽东写了一封信，打破了庐山的平静。没有多久，黄克诚被毛泽东电召上山。

见到黄克诚，体察入微的周恩来说了句意味深长的话：“你来晚了一步，如果你在７月14号以前上庐山，彭老总那封信就不会拿出来了。”

黄克诚后悔万分：何止是来晚了，如果由我来参加会议，庐山会议的风暴不是掀不起来了吗？

上山后他和彭德怀同住176号别墅。两人一个住东头，一个住西头。他们两人在庐山第一次见面时，彭德怀就问黄克诚：“我给主席写的信你看了吗？你觉得写得怎么样？”

黄克诚坦率地说：“我看了，这信写得不怎么样。有意见可以当面说嘛！写信干什么？信里有些提法和用词也不太妥当。”

黄克诚虽说是中途上山，但当时会议的大气候他是知道的。毛泽东为什么在这种情况下叫他上山？他也是明白的。毛泽东叫他上山来自然是要他讲话，讲话也自然是要按毛泽东的意思来讲……

明明知道这些，但他仍坚持真理，秉公直言。他对会上讲的“大跃进”的不足进行了补充。他说了三条：一、对农业生产成绩估计过高；二、比例失调；三、1959年的指标过大。他认为头一条起了主导作用，后两条与之有联系。

他甚至气愤地说道：“现在有一种不好的风气，就是只能讲成绩，不能讲缺点。有人去了一趟河南，看了几个地方，发现他们放的卫星不对头，炼的钢不能用，产量也不实，就给中央写了一封信，提出了自己的看法。结果材料转到了省委，省委大发雷霆……这种风气很不对，有缺点不可怕，可怕的是不让讲缺点。”

会议上，有好心人向他使眼色，或用委婉的话语制止他，他都不领情，把心中的话一股脑全都倒了出来。当年参加会议的同志对黄克诚的这次发言，至今还记忆犹新，说他说的是掏心窝子的话。

他发言过后，不断有中央政治局常委找他谈话，要他和彭德怀划清界限。最后，毛泽东亲自找他谈话。毛泽东与人谈话历来都是天南地北，古今中外，无所不谈，但他最喜欢说的还是解放战争那段峥嵘岁月。当谈到当年四平保卫战的情况时，毛泽东突然问黄克诚：“难道四平保卫战打错了？”黄克诚回答说：“开始敌人向四平推进，我们打他一下子，以阻敌前进，这并没有错。但后来在敌人集结重兵寻找我主力决战的情况下，我们就不应该固守四平了。”“守四平当时是我决定的。”黄克诚说：“你决定的也是错误的！”黄克诚的话令毛泽东颇感惊讶，他停顿了一下说：“那就让历史和后人去评说吧！”

这就是倔强的黄克诚。他认为，毛泽东是他信任的领袖，应该向毛泽东讲真话甚至提出批评。这才是一个真正的共产党员所应具备的品质。

这时，有人开导黄克诚要他对彭德怀“反戈一击”。

黄克诚坚定地回绝：“‘落井下石’也得有石头，可是我一块石头也没有。我决不做诬陷别人、解脱自己的事！”

庐山会议开到最后，黄克诚和彭德怀、张闻天、周小舟等人一起受到批判。他们在强大的批判攻势下，只得在说明事实真相的前提下，违心地给自己扣了许多不切实际的帽子。

等到冷静下来以后，黄克诚认识到，违心地作检讨，违心地同意“决议草案”，才是自己在庐山会议上的真正错误。黄克诚一想起此事，心里就非常痛苦。

黄克诚颤颤巍巍接过了沉甸甸的材料：这哪里是一本普通的自述回忆材料啊！这分明是彭德怀对党、对人民无限眷恋的赤诚之心啊

庐山会议以后，黄克诚的军委秘书长、总参谋长职务被撤销了。同时，他还暂时失去了与彭德怀交往的自由，可是两个人的友情和关系好像永远也无法切断。用黄克诚恢复工作以后的话说：有很长一段时间，我做梦经常同他在一起。这次被撤职之后，黄克诚仍像过去一样，不甘心在革命队伍里吃闲饭，写信给毛泽东，要求给他一点工作做。

1965年，黄克诚被分配到山西省担任副省长。与此同时，彭德怀被派到成都西南大三线建设委员会担任第三副总指挥。

看到自己又能为党工作了，黄克诚激动万分。

山西是他曾经战斗过的地方。抗战初期，黄克诚曾经任八路军一一五师三四四旅政治委员。重访太行、太岳，黄克诚想起了26年前阎锡山发动“十二月反共事变”时，彭德怀从洛阳冒险回前方，路过高平县三四四旅驻地的情景。这天夜里，两人兴奋异常，彻夜畅谈。就在这个夜晚，彭德怀下定了调集兵力发动反磨擦战役的决心。后来，经过反击，八路军终于打破了抗日敌后根据地遭敌顽双方夹击的困境。