8月3日，南昌起义军按照中共中央在起义前的决定，开始撤离南昌城，取道江西省临川县（今抚州市）、宜黄县、广昌县，南下广东省，以期恢复广东革命根据地，并占领出海口，取得国际援助，然后重新举行北伐。但是，中共领导的南昌起义部队力量弱小，不可能重新进行像大革命时期那样以占领城市为中心目标的革命战争。起义军在退出南昌后，没有认识到应就近到江西省、湖南省、湖北省广大农村，同还没有完全被反革命势力镇压下去的农民运动相结合，以便逐步积蓄和扩大革命力量，而是忙着南下广东省，劳师远征，争夺城市和出海口。
经历三河坝分兵
8月6日，粟裕所在的警卫队奉命出发，负责南昌起义军指挥机关的警卫任务和押运武器弹药任务。粟裕除随身带的驳壳枪和子弹外，还身背两支步枪、200多发子弹，加上背包、军毯、水壶、饭盒、铁镐、铁铲，共有30多公斤。另外，每一个班要抬一顶大帐篷，每人还要照管一个挑枪支弹药的民夫。8月盛夏，每天行军三四十公里，又热又累。如果谁照管的民夫中途跑了，那些枪支弹药就得自己挑。这是粟裕经历的第一次长途行军，也是第一次巨大考验。
在南昌起义军向广东省进军途中，由于领导上的原因、政治工作薄弱，加上天气炎热，逃跑士兵和病号剧增，部队减员相当严重。起义军离开南昌市不远，刚行抵江西省进贤县时，蔡廷锴就率部离开了队伍。南昌起义军到达临川县时，已减员6000余人，并遗弃了部分枪支。8月底至9月初，起义军在赣南瑞金县（今瑞金市）、会昌县境内，与广东省前来堵截的国民党军进行了多次激烈战斗。起义军虽然歼敌6000多人，缴枪2500支，但自己伤亡近2000人。其间，又有第二十军第二师第五团叛逃。至此，南昌起义军只剩下1万余人。会昌战斗之后，粟裕奉命带领一个班将缴获的枪支装上船，押送到广东省东江。
9月下旬，南昌起义军攻占广东省潮安县（今属潮州市）、汕头地区后，才得到短暂的休整。接着，南昌起义军主力经广东省揭阳县（今揭阳市）向丰顺县汤坑西进，在白石地区与敌作战失利，损失惨重，被迫退向普宁县（今普宁市）流沙地区。10月3日，起义军主力在向海丰县、陆丰县（今陆丰市）转移途中，在乌石地区遭到敌军截击。第二十军第一师、第二师溃散。第十一军第二十四师仅剩1300余人，后在该师第七十团团长董朗和师党代表颜昌颐率领下，退入海陆丰地区，参加当地的革命斗争。
南昌起义军主力出动后，粟裕所在排奉命在潮安县城留守，负责后勤部门和物资仓库的警戒。留守潮安县城的起义军力量单薄，在国民党军的围攻下不得不撤到城外。粟裕所在排的任务，是保卫后勤部门领导和其他干部的安全。他们找到几条船，东渡韩江，准备经广东省饶平县去大埔县三河坝，同第二十五师会合。
原来，贺龙、叶挺率南昌起义军主力挺进潮安县、汕头地区时，把第十一军第二十五师作为潮汕的前哨，留在三河坝警戒敌人。为加强部队领导，叶挺致信第二十五师师长周士第，命令由第九军副军长朱德统一指挥该师和第九军军官教育团。后来看，南昌起义军分散行动的决定是错误的，容易被敌人各个击破。10月1日至3日，第二十五师在三河坝遭国民党第三十二军两个多师的进攻，激战了三天三夜。第二十五师参谋处长游步仁、第七十五团第三营营长蔡晴川等数百名官兵牺牲。10月4日凌晨，第二十五师在朱德、周士第的指挥下撤出战斗，向潮汕地区前进。此时，第二十五师还不知道潮汕已经失守，南昌起义军主力已经失败。第二十五师行进至饶平县附近时，得知南昌起义军主力失利的消息，于是停止了前进。第二十五师还约有2000人，三个团的建制也都还保持着。从潮汕地区撤退下来的零星部队和人员，陆续到达饶平县的五六百人，也会合到了一起。粟裕到达饶平县时，第二十五师已经先到了。
第一次负伤
第二十五师失掉与领导机关的一切联系，成了南昌起义军余部。朱德认为，南昌起义军主力虽然失败了，但起义旗帜绝对不能丢，武装斗争的道路一定要走下去。鉴于国民党军队云集在周围，可能随时扑来，起义军必须尽快离开此地，甩开敌人，否则就有全军覆没的危险。经过慎重考虑，朱德决定脱离敌人，避免与敌交锋，向敌人力量薄弱的闽西、赣南地区转移。起义军把负伤人员交给饶平县共产党组织分散安置，并留下了一部分枪支。10月7日，朱德率领起义军余部从饶平县出发，踏上了艰苦转战的道路。10月16日，起义军余部到达闽赣交界处的福建省武平县。
南昌起义军余部向西北转移的行动，很快被敌人发觉。10月17日，国民党第三十二军军长钱大钧率领第十八师追到了武平县。起义军寡不敌众，加之缺粮少弹，无法与强敌持久地硬拼硬打。激战两个小时后，朱德下令部队撤出战斗。起义军向武平县西北方向转移，粟裕所在排奉命掩护。粟裕和战友们一阵猛打，敌人不知虚实，慌忙退却。
突然，一颗子弹从粟裕右耳上侧头部颞骨穿了过去。粟裕只觉得头部猛然受到一击，随即倒在地上，动弹不得，心里却依然很明白，只听排长说：“粟裕呀，我不能管你啦。”随后，排长卸下粟裕的驳壳枪，丢下他走了。不久，粟裕从昏迷中苏醒过来。刚才还血肉横飞的战场，此时静得可怕。粟裕当时只有一个念头：无论如何要站起来，赶上部队，绝对不能离开革命队伍。他咬紧牙关猛地站了起来，但腿一软身子一晃，又倒在地上。粟裕用力顺着山坡往下滚，一直滚到了路边一片水田里。正好有几个南昌起义军战友沿着山边走来，发现了粟裕。他们连忙把粟裕扶起来，给他包扎好伤口，搀着他赶上了部队。粟裕一生六次负伤，这是他第一次负伤。
武平县西北五公里处有一条山路叫石径岭，地势险峻，悬崖峭壁间只有一个隘口可以通过。南昌起义军余部要向西北转移，这是一条必经之路。经过侦察，起义军发现隘口被地主武装民团占领着。为了出其不意制伏敌人，朱德率领几个警卫人员，从长满灌木的陡壁攀登而上，从侧后发起进攻。战斗力本来就不强的民团，遭到突然打击，丢下武器四散逃命。朱德站在断壁上，手握驳壳枪，指挥部队胜利通过了石径岭。
经过武平县城战斗和石径岭战斗，南昌起义军余部摆脱了国民党军的重兵追击，进入了赣南山区。饥饿、疲惫、伤病折磨着官兵，革命前途十分暗淡。逃跑、叛变的官兵每天都有，粟裕却坚持了下来。他拖着重伤的身躯，坚定地跟着部队前进。
天心圩军官会议、大庾整编和上堡整训
10月下旬，南昌起义军余部到达江西省安远县天心圩。第二十五师领导及多数团领导已经离队，起义军只剩下1500余人，长短枪1000余支，机枪2挺。就在队伍濒于溃散的关头，朱德主持召开了全体军官会议。朱德以俄国十月革命为例子，对大家讲中国革命的长期性、曲折性。他鼓励大家不要灰心，要相信中国革命总会成功的。他还表示，革命是心甘情愿的事业，不愿革命的可以回家。朱德的讲话深入浅出，给大家以极大的鼓舞。第二十五师第七十三团政治指导员陈毅、第七十四团参谋长王尔琢，坚决赞成朱德的意见，表示要斗争到底。陈毅诚挚地对大家说：“南昌起义是失败了，南昌起义的失败不等于中国革命的失败。中国革命还是要成功的。我们大家要经得起失败局面的考验，在胜利发展的情况下，做英雄是容易的；在失败退却的局面下，做英雄就困难得多了。只有经过失败考验的英雄，才是真正的英雄。我们要做失败时的英雄。”天心圩军官会议意义重大，粟裕也参加了。听着这些充满激情和乐观的讲话，粟裕的革命信念更加坚定了。
10月底，南昌起义军余部继续向西北前进，到达赣南大庾（今大余）县境内。这时，国民党新军阀各派之间的矛盾日益尖锐，混战不已，放松了对南昌起义军的追击。南昌起义军抓住时机进行整顿，重点整顿了党组织和团组织。共产党员、共青团员重新登记，成立了党支部。部队缩编为七个步兵连、一个迫击炮连、一个重机枪连。为缩小目标，南昌起义军使用国民革命军第五纵队番号，朱德任司令，陈毅任指导员，王尔琢任参谋长。粟裕被从班长越级提升为步兵第五连指导员。五六十名共产党员分配到各个连队，成为部队骨干。经过整编，起义军士气回升。离队和走散的一些官兵陆续回到部队。这就是著名的大庾整编。
11月上旬，朱德、陈毅、王尔琢率南昌起义军余部到达赣南崇义县上堡地区，进行了一次整训。受大革命影响，这里群众基础好，有利于开展革命斗争。这里的地形是一片连绵不断的大山，适合部队隐蔽。南昌起义军进入山区，发动群众，开展游击战。南昌起义军赶走占山为王、作恶多端的土匪，解散反动地方武装，整顿税收，解决了给养装备问题。官兵每天的任务，除了训练，还要帮助农民生产劳动，向群众宣传共产党的主张。南昌起义军在这里驻扎约20天，粟裕和官兵们受到的教育很深刻。过去，大家只知道打仗，现在做群众工作，把武装斗争与农民运动结合起来了。
经过天心圩军官会议、大庾整编、上堡整训，南昌起义军余部保存了一批经受过严峻考验、具有坚定革命意志的骨干力量，作战形式也开始由正规战向游击战转变，为日后的发展创造了有利条件。
湘南起义
南昌起义军余部驻扎崇义县上堡期间，朱德从报纸上看到国民党第十六军移防同崇义县接壤的湖南省郴县（今郴州市）、汝城县一带的消息。他同陈毅商量后，便写信给第十六军军长范石生，希望建立合作关系。范石生是朱德在云南讲武堂的同班同学，一起参加中国同盟会，一起参加昆明重九起义，一起参加护国讨袁战争，关系非同一般。1926年，滇军第三军改编为国民革命军第十六军，范石生任军长。朱德的信发出去半个月后，终于有了复信。
1927年11月20日，朱德受党组织的委托，去汝城县谈判。最后达成三项协议：（1）同意朱德提出的部队编制、组织不变，要走随时可以走的原则。（2）南昌起义军改用第十六军第四十七师第一四○团番号。朱德化名王楷，任第四十七师副师长兼一四○团团长。（3）按一个团的编制，先发一个月薪饷，并立即发放弹药和被服。范石生信守诺言，认真执行了这些协议。在给养、装备等方面，南昌起义军得到的补充与第十六军部队没有区别。
12月上旬，南昌起义军余部转移到粤北仁化县。中共中央决定举行广州起义，指示朱德、陈毅率部赶到广州，参加起义。南昌起义军南下至广东省曲江县（今韶关市曲江区）时，得知广州起义失败，便停止前进，就地驻扎。南昌起义军官兵一边休整、练兵，一边到农民中宣传革命。
1928年初，蒋介石发觉南昌起义军余部隐蔽在范石生部，立即下令解除南昌起义军武装，逮捕朱德。同时，命令国民党新编第十三军军长方鼎英率部从湖南省进入粤北，监视南昌起义军和范石生部的动向。范石生接到蒋介石的密电后，立刻向朱德作了通报。形势万分紧急，朱德决定立即率部脱离险境。开始，他按照中共广东省委的意见，准备去东江同广州起义军余部会合。后来，南昌起义军余部到达仁化县时，突然发现国民党新编第十三军正沿浈水开往仁化县以东的南雄县（今南雄市），切断了前往东江的去路。朱德当机立断，在收编广州起义军余部后，折向西北，向湘南开进。
1月上旬，南昌起义军余部到达湘南。1月12日，进占宜章县。根据中共广东省委指示，南昌起义军余部改称工农革命军第一师，朱德任师长，陈毅任党代表，王尔琢任参谋长。同时，招收一批修筑粤汉铁路（广州—武汉）的民工参军，部队发展到2000余人，编为三个营。继而，工农革命军第一师在宜章县南部和广东省乐昌县（今乐昌市）坪石等地，击溃来犯的国民党军独立第三师，歼敌1000余人，缴获了一批枪支弹药，甚至有迫击炮、山炮。部队装备得到极大补充，还成立了一个炮兵连。
工农革命军第一师的胜利，轰动了湘南。中共湘南特委领导人赶到宜章县，与朱德等协商发动湘南起义，割据湘南。这时，国民党军李宗仁部正在湘东北与唐生智部交战，张发奎部和李济深部在广东省五华县交战，湘南地区没有国民党军主力。湘南各县中共党组织经过较长时间的准备，起义条件已经成熟。朱德等人完全支持中共湘南特委的起义计划，当即率部北上，相继将湖南省郴县、耒阳县（今耒阳市）的反动地方武装大部歼灭。其间，中共湖南省永兴县委、资兴县（今资兴市）委、安仁县委等，分别领导农军对反动地方武装发起进攻，夺取县城，建立苏维埃政府，组建了工农革命军。在胜利形势的鼓舞下，湖南省衡阳县（今属衡阳市）、桂阳县、常宁县（今常宁市）、汝城县、临武县、嘉禾县等中共党组织，也相继领导部分农军和农民举行了武装起义。
湘南各县起义期间，中共湘南特委受“左”倾盲动错误的影响，提出“使小资产变成无产，然后强迫他们革命”的错误政策，并制订割据湘粤大道，以切断湘粤两省联系的战略计划。3月上旬，中共湘南特委为实现这一计划，派代表到江西省遂川县井冈山革命根据地，宣布撤销湘赣边界秋收起义时建立的中共湖南省委前敌委员会，将所属部队改称工农革命军第二师，毛泽东为师长，何挺颖为师党委书记。中共湘南特委命令工农革命军第二师离开井冈山根据地，参加割据湘南的斗争。3月中旬，湘南地区的革命武装力量统一编为工农革命军。除南昌起义军余部改称的工农革命军第一师、秋收起义军改称的工农革命军第二师外，宜章县农军改编为工农革命军第三师，耒阳县农军改编为工农革命军第四师，郴县农军改编为工农革命军第七师。永兴县、资兴县农军各编为一个团。
上井冈山
声势浩大的湘南起义震动了国民党当局。1928年3月10日，湖南省、广东省国民党军“协剿”湘南工农革命军。3月中旬，湘粤两省国民党军各抽调三个师组成“协剿军”。3月底，“协剿军”向湘南衡阳县和粤北乐昌县地区集结，企图对工农革命军实行南北夹击。4月1日，“协剿军”各部分别向耒阳县、宜章县推进。
湘南地区交通方便，利于敌军机动。由农军改编的工农革命军各师未经整顿训练，战斗力较弱。中共湘南特委的“左”倾错误，则挫伤了一部分群众的革命积极性。各种因素表明，工农革命军在湘南地区继续坚持武装斗争是不利的。为避敌锋芒，保存革命力量，朱德等人果断决定率所部和湘南农军向井冈山革命根据地转移。
在此之前，毛泽东按照中共湘南特委指示，已于3月中旬率部进入湖南省酃县（今炎陵县）、汝城县开展群众工作。当朱德等人率部向井冈山革命根据地转移时，毛泽东立即命令部队主动予以掩护接应。4月中旬，朱德所部和湘南农军与毛泽东所部在井冈山地区会师。
朱毛会师后，井冈山革命根据地武装力量激增，达到1万多人。其中，毛泽东率领的原秋收起义军1600人，朱德率领的原南昌起义军余部2000多人，湘南农军8000人。为了加强统一领导指挥，毛泽东、朱德等人商定立即对部队进行整编。于是，借助于原国民革命军第四军“铁军”的影响力，将部队番号确定为中国工农革命军第四军。朱德任军长，毛泽东任党代表，王尔琢任参谋长。
井冈山会师，具有十分重要的历史意义。南昌起义军余部和秋收起义军骨干，具有北伐战争民主革命传统和正规作战经验，具有土地革命运动实践经验。它保留了大批军事政治骨干，为中国人民解放军的成长奠定了重要基础。
在毛泽东的领导下，此时的井冈山革命根据地已经初具规模，比较巩固。此后，井冈山革命根据地逐渐发展，全盛时包括江西省宁冈县、永新县、莲花县全部，江西省吉安县、安福县、遂川县及湖南省酃县部分地区。粟裕到达井冈山革命根据地后，立刻有一种回到家的感觉，心情无比喜悦。这是他参加南昌起义后，艰苦转战近九个月的结果。
