但日军迅速突破中国军队的阻击，6月23日即兵临衡阳附近。日军在兵力布置上，以2个师团进攻衡阳，以3个师团进攻湘东地区，以1个师团进攻湘江以西。6月25日，重庆军委会电令方先觉的第十军死守衡阳。6月26日，第九战区拟具于衡阳与日军决战计划，并向衡阳周围调集兵力。同日，蒋介石指派副参谋总长白崇禧前往桂林，协调指挥衡阳一带战事。

7月1日，蒋介石主持军事会报，获悉广东之敌已向清远与从化方向分路进犯。蒋认为日军“打通粤汉路之计，已不可遏阻矣！今日惟一要图，为如何能固守衡阳，增强湘桂路兵力，以确保桂林空军基地，如能粉碎其犯湘桂路之企图，则此次作战当不失为成功也。”

这个时期，蒋介石一再电令各兵团依照“正面阻止，侧背猛攻”的战略攻击进犯之日军。第二阶段军委会下达的一系列指令均是执行这一战略，要求前方各军向当面之敌发起猛攻，或向敌人侧背发起猛攻，试图打消和狙击日军的战略企图。

中原会战与长沙会战节节挫败以后，国内外舆论对中国军队群加指责。作为国军最高统帅，蒋介石对来自英美盟国的讥评尤其感受到莫大的压力。7月中旬，美国总统罗斯福致电蒋介石，谓豫湘战事颇减低中国信誉，拟令史迪威直接指挥中国全部军队（包括中共军队）作战。蒋介石对此深感耻辱和刺激。7月21日，蒋对出席整军会议的军委会各部会主官痛心疾首地说：“自从这次中原会战与长沙会战失败以来，我们国家的地位，军队的荣誉，尤其是我们一般高级军官的荣誉，可以说扫地以尽。外国人已经不把我们军队当作一个军队，不把我们军人当作一个军人！这种精神上的耻辱，较之于日寇占我们的国土，以武力来打击我们，凌辱我们，还要难受！”据徐永昌记述，蒋介石当时“声色俱厉，数数击案如山响”，其心情之愤激可见。