1946年6月，在蒋介石磨刀霍霍，准备大举进攻之时，毛泽东设想了一个南线出击的计划，准备让南线晋冀鲁豫(刘邓)、山东(陈毅)、华中(粟裕)三支野战军远出根据地，进行外线作战。其中，山东战略区的任务是：“以徐州地区为主要作战方向”，集中山东主要力量，配合苏皖北部各区，攻占津浦路徐州至蚌埠段各个要点，“主要着重调动徐州之敌于野战中歼灭之，相机占领徐州”。华中战略区的任务是：“粟(裕)谭(震林)率主力占领蚌(埠)浦(口)间铁路线，……策应北面作战。”最终目的是“以太行(晋冀鲁豫)、山东两区主力渡淮河向大别山、安庆、浦口之线前进”。
经过多年的延安整风，对毛泽东信服有加的陈毅，当即遵从将令，表示坚决执行这一作战计划，并率山东野战军主力南下。粟裕则从实际出发独持异议，主张先在苏中内线歼敌后，再向西进军比较有利。
经陈毅、粟裕之间各摆事实，反复争论之后，从善如流的毛泽东放弃了自己原来的计划，倾向于粟裕的主张。他于7月13日致电南线的陈毅、粟裕说：“我苏中、苏北各部先在内线打起来，最好先打几个胜仗，看出敌人弱点，然后我鲁南(即山东野战军)豫北(即晋冀鲁豫野战军)主力加入战斗，最为有利。”
陈毅则坚决主张粟裕迅速西调，继续按原计划外线作战，他对毛泽东说：“张鼎丞、邓子恢、谭震林、粟裕舍不得离开苏中，以主力在该地打转，实际上淮南在全局上比苏中更重要，此道理以前讲过多次，讲不通。现在，粟裕如在海安、东台打几个胜仗，恐仍不能退敌，值得考虑一下。”
毛泽东反复权衡后，最终还是支持了粟裕等人，于8月8日确认苏中为主要作战方向，否认了陈毅“津浦线是主战线”的看法。他致电陈毅等人：“尽可能满足粟(裕)之要求，集中最大兵力于主要方向(苏中)。”
陈毅出师不利
陈毅出师则很不顺利。他率山东野战军5万余人在淮北作战，兵力上强于当面的国民党军，反而不慎“马失前蹄”，打了意料之外的消耗战。
泗县战役中，他否决了华中分局邓子恢、张鼎丞早先“应打蒋系不打桂系来电”的建议，也没有听从8月3日、4日毛泽东连续来电中的劝告：“凡只能击溃不能歼灭之仗不要打，只要主力在手总有机会歼敌，过于急躁之意见并不恰当”，决定在泗县攻打虽非蒋介石的黄埔嫡系，却素以滑溜著称的桂系第七军。
他致电毛泽东并告华中野战军粟裕，郑重地表示：“我决心消灭桂系在泗县之两个团，并调动其增援部队，逐次消灭其二三个团。已定午夜攻泗县不再变。”
8月7日，战役命令下达后，山野虽有22个团的总兵力参战，但司令部仅用6个团攻城，而且这6个团在攻城时，还分去将近一半攻打外围据点。因此，战役上的优势顿时变为战术上的劣势，结果攻城失败，担任主攻的山野主力第八师损失严重，伤亡共达2400余人。《陈毅传》总结说：“这是一个值得作战指挥者深刻汲取的教训。”
随后，山东野战军司令部20多天未能创造战机，于8月底仓促撤出淮北地区，退至淮海分区。
毛泽东根据严峻的敌情，于8月29日要求陈毅学习粟裕集中优势兵力，歼敌一路的战法，歼灭一部国民党军。电令说：“你率主力应在睢宁以东地区待机，仿粟裕办法，集中主力歼敌一部”，“如此常保高度士气，纪律亦可改善”，“每次歼敌一团一旅，打五六次，即可造成有利局势”。他还特别指出：“九月正是作战时机，刘邓军、中原军(李先念部)均希望你军配合。此时不打，敌占地愈多，威风愈大，我士气民气均将受损，故必须寻机作战，灭敌人威风，壮自己志气。”
考虑到山野军事主官的确不大擅长大兵团作战，毛泽东于9月初决定，拟派徐向前去山东负责鲁南的军事，并正式告知了陈毅。
作为一名战区指挥员，陈毅当然明白这一考虑的全部含义，他心里很不是滋味。时为山野作战科科长的王德回忆说：“有一天夜里，我在值班，陈毅同志走了进来，他心情沉重地对我说：‘我将来还是搞我的文化工作去好了……我们给中央说话也不灵了，提什么意见都不灵了。’”虽然如此，陈毅还是大度地去电中央，表示欢迎徐向前前来。
陈毅认错
此时，毛泽东交给陈毅和山东野战军的任务是保卫淮安、淮阴，即“两淮”。
陈毅决心打一个漂亮仗，改变中央的看法。他于9月11日连发两电给毛泽东并告粟裕等人，表示有信心“改变战局”，有把握至少能歼灭国民党军两到三个旅。电报说：“山野决心在淮泗间歼敌，以保卫两淮，改变战局。部队明晚即可部署就绪。分批歼敌两旅到三旅是有把握的。”
然而山东野战军很快被国民党军“佯攻怵阳、真攻淮阴”的策略迷惑，没有采纳粟裕等人的建议，再次决策失误。结果，山野主力被桂军一个多师牵制7天之久，动弹不得;淮安与淮阴则遭国民党军主力乘虚攻击，相继失守。陈毅这才感到事态严重，焦急地复电粟裕等人作自我批评，表达了自责之情，同时说明将按粟裕等人的建议行动。电报说：
你们对山野行动的意见均正确，同意办理。此次出毛病，没有估计到敌迅速南下，原想避开桂军，控制主力于(六塘)河北，不料蒋军又不来，未碰到他……此次淮北作战，由于主观指导错误，遗(贻)误全局，五内如焚，力图挽救，当尊重兄等建议。
两淮失守，连战失利，华中震动，山东野战军的士气低落。虽然等了二十来天，中央告知当年的红四方面军统帅徐向前因病不能来了，但陈毅一点也轻松不起来。
10月1日，陈毅致电毛泽东，又作了自我批评，称赞粟裕所在的华中分局：“两次到分局会议，他们战争方针很正确。但我至淮北，战局顾虑太多，决心不够，未能发挥山野力量，有负党与人民的付托。”他还主动表示：“今后集结张(鼎丞)、邓(子恢)、粟(裕)在一起，军事上多由粟下决心，定可改变局面。”
这是陈毅在与粟裕长时间的争论中，因为毛泽东完全支持粟裕以及粟裕指挥华中野战军辉煌的战果，第一次提出今后两军合并“军事上多由粟下决心”。显然，他的这个表示是在经历一个比较长的复杂过程之后做出的。
鉴于将士们情绪很大，10月4日，陈毅又给山野主力八师负责人写信，坦荡剖析自己与友邻指挥员刘邓、粟裕、陈赓相比的不足，承担了战役失利决策与部署的责任，信中说：
由于三月来战争，山野在淮北未获连续胜利，既未完成截断津浦的任务，内线亦未歼敌，而且丧失五个城;部队撤退多，前进没有转移多，疲困病苦;与各兄弟兵团如刘、邓、粟、陈赓等比较相形见绌……
……未打好，不是部队不好，不是师团干部不行，不是野战军参谋处不行，主要是我这个统帅犯两个错误：一个是先打强，即不应打泗县;一个是不坚决守淮阴……我应以统帅身份担负一切，向指战员承认这个错误。
军事上真正由粟裕下决心
毅主动我批评不久，又陷入了意料之外的波折。
虽然他曾表示“当尊重兄等建议”，但他与粟裕之间很快又产生了第三次争论。他不打算按原计划与华中野战军合并，准备单独率山东野战军返回山东。他致电毛泽东、粟裕等人：“我意山野必须迅速回鲁”，要求“华野派队接替淮海区”。
10月9日，十分焦急的华中分局负责人张鼎丞、邓子恢、曾山给毛泽东发了一份要求“勿告陈(毅)”的密电，说“这完全是由于陈(毅)对用兵开玩笑所致”，“对陈(毅)此部署决不同意，对陈这几个月在华中指挥亦深表不满”。
他们也提到让粟裕负责合并后的华中野战军与山东野战军(即后来的华东野战军)的军事指挥问题，说：“陈、粟、谭应会合一起，不宜分开，使粟能助陈下决心，并便统一山野指挥。”
值得指出的是，山东解放区的张云逸、黎玉等人在这场争论中，也实事求是地站在张鼎丞、邓子恢、曾山一边。他们随后在10月16日致电毛泽东、陈毅，认为山野还是留在淮海与华中野战军集中歼敌有利，而单独返回山东不利：“山野入鲁对整个华东战局不利。”
陈毅与粟裕争论后，鉴于两人截然不同的战果以及华东战区不利的形势，10月14日，毛泽东致电陈毅，给予了严厉批评，提醒他对各方利害反思后向中央汇报：
现在因感渡运(河)向西作战困难，而主张全军入鲁，假如入鲁后仍感作战困难，打不好仗，而苏北各城尽失，那时结果将如何?且渡运作战是你自己曾经同意之方案。此次你与张、邓、曾会商，亦以渡运作战列为方案之一。何以元亥电又不相同?如按元亥电实行，你与张、邓、粟、谭诸同志间关系是否将生影响?请对各方利害分析再告。
毛泽东罕见地动怒，陈毅不得不慎重思考，最终同意留在淮北，决心首先在淮海地区打几个好仗。获悉这一决心后，毛泽东一则深感欣慰，一则尚有疑虑。他于10月15日复电陈毅，鉴于徐向前不能前来山东，山东野战军陈毅与华中分局邓子恢和张鼎丞等人都提出军事上“粟裕多下决心”，明令粟裕负责两军的战役指挥。他说：“决心在淮北打仗，甚慰。……望你们集中山野、华野全力(决不可分散)歼灭东进之敌，然后全军西渡收复运西，于二至三个月内务歼薛岳七至十个旅，就一定能转变局势，收复两淮，并准备将来向中原出动。”也就是说，山野与华野不是临时性的集中和短期作战，而是准备收复两淮，将来还要进军中原。这个“将来向中原出动”的“准备”，实际是一个当时无法预测和限定的漫长过程。
后来两军合并后的华东野战军达到这一目标时，已经经历了宿北、鲁南、莱芜、孟良崮、沙土集，到陈粟大军挺进中原豫皖苏地区才算初步实现，以后经豫东、济南战役，直到1948年11月开始的淮海战役才完全实现。
毛泽东特别强调：“为执行此神圣任务，陈、张、邓、曾、粟、谭团结协和极为必要。在陈领导下，大政方针共同决定(你们六人经常在一起以免往返电商贻误戎机)，战役指挥交粟负责。”
两个月后，在粟裕的战役指挥下，山东野战军和华中野战军于12月18日在淮海地区取得了两军会合后的第一次大捷——宿北大捷。
这一战役第一次以“华东野战军”名义发布命令，实现了毛泽东“在全军入鲁以前，应当在淮海地区打一个好仗”的设想，成为华东战局转折的第一个标志。
