截止到8月底，薛岳部队消耗了解放军的大量兵力，并将解放军华中野战军主力牵制在了苏中地区，有效配合了国民党军在淮南和淮北的战斗。
但在接下来的鲁南战役中，薛岳连连失利。10月6日，薛岳命令王长海的第77师和马励武的26师，在空军配合下，分别向鲁南解放区的峄县和枣庄进攻。鲁南新四军采取避实就虚的战略方针，早已将主力撤离，因此未经多大战斗，77师和26师便相继占领了峄县和枣庄。
11月初，薛岳又命令各部从东、北、西、南四方向鲁南解放区大举“清剿”。
不料，11月中旬，驻防台儿庄的王长海部突然遭到叶飞所率新四军的攻击，伤亡惨重，王部旅长戴之奇因兵败畏罪自杀。遭此惨败，薛岳甚为恼火。
12月上旬，薛岳又命令装备精良的26师，从峄县东南进攻解放区。该师离开峄县百余里，即被新四军诱入卞庄、向城等地，进入新四军的包围圈。薛岳闻讯立即从徐州调两个整编师前往支援，其中一个师刚进抵古林村就受到新四军的围攻。1947年1月5日，被围困的26师实施突围，伤亡惨重。旅长蒋修仁被击毙，师长马励武及其参谋长被活捉，26师全军覆没。鲁南的华东野战军以8000人伤亡的代价取得了歼敌53000人的胜利。
薛岳在鲁南战役中的连连失败，引起蒋介石的强烈不满。更令蒋介石生气的是，薛岳把他的机械化家底——第一快速纵队给报销了。于是，蒋介石派参谋总长陈诚坐镇徐州督战，致使薛岳被架空。并于3月3日以“指挥无力，名声低落”为由将薛岳撤职。