在广阳地区人民武装分散活动，与国民党的反动军队的残酷清乡扫荡进行斗争的同时，中共中央主席毛泽东正在重庆与国民党蒋介石谈判。中国共产党为了中华民族的命运，为了表示对实现和平民主的真诚实意，在不违背全国人民群众根本利益的前提下，与国民党代表签订了《双十协定》，让出分布在广东、浙江、苏南、皖中、皖南、湖北、湖南（豫北不在内）等八块抗日根据地，并将这些地区内的中共军队撤到陇海线以北和苏北、皖北解放区；同时还表示，在公平合理整编全国军队的前提下，将自己领导的一百二十万军队缩编为二十四个师，使它占整编后全国军队总数的七分之一。中国共产党信守诺言，在签字一周内，即开始将部队从浙江、苏南、皖南等地撤出。

为贯彻《双十协定》，根据中共中央指示，东江纵队政委林平于一九四六年三月十一日在重庆举行中外记者招待会，揭露国民党反动派妄图否认和消灭中共领导的广东抗日游击队的阴谋，并在会上宣传广东抗日游击队在八年抗日斗争中的成绩。经过一系列的斗争，终于达成东江纵队北撤山东的具体协议。

北撤协议规定：东纵北撤武装人员二千余人；不撤退的复员，发给复员证，政府保证复员人员的生命安全，财产不受侵犯，就业居住自由；北撤的船只由美国负责。由于国民党广东当局只承认东江纵队为广东的中共部队，为了保存干部，广东区党委决定抽调广东其他地区的中共部队主要领导干部随同东江纵队一起北撤。

一九四六年四月间，中共中区临时特委在开平三埠召开特委会议，由副书记刘田夫传达广东区党委在香港召开的东江纵队北撤会议精神。

根据广东区党委部署，中区临时特委决定了以下三项内容：（一）中区临时特委和部队领导人罗范群、谢立全、刘田夫等及部队干部黄平、郑锦波、吴枫，还有广阳地区恩平的郑玛、郑樵秀、郑重、吴荣、关云、陈月、关尤丽；阳春县的黄昌熹、郑宏璋、郑雄、邓太威、邓太升、周道泽、郑宏湘、朱尚绚、陈明、严仕铭、周邝源、黄杰；新兴县的冯扬武、甘炳灿、甘佐楷等参加北撤。上述人员于六月二十九日在惠阳县大鹏海沙鱼涌集中，翌日乘船北上，七月五日随东江纵队抵达山东烟台解放区。（二）改变党的领导体制，以适应新的斗争形势，决定撤销中区临时特委和各县党委，改为特派员制，同时将地方党和部队两个系统分开领导互不统属。中共中区特派员为谢创。广阳地区内的恩、新、云、江、春五县边区委员会和五县边区大队撤销，各县特派员调整为：恩平县谢鸿照、阳春县陈明江、阳江县司徒卓、新兴县罗明、开平县王永祥。不久，谢永宽接谢创任中区特派员，有些县的特派员又作了调整，恩平县李克平接谢鸿照，阳春县李信接陈明江，新兴县陈国璋接罗明，增加陈兴中为副特派员。广阳各县特派员受中区特派员领导。（三）根据上级指示，对原广东人民抗日解放军的武装人员安排部分北撤，大部分复员外，考虑到北撤以后，我军的复员人员有可能被国民党反动派以“土匪”的罪名围捕杀害，使决定各地部队留下少数精干武装人员，继续分散隐蔽，坚持斗争，以保护复员人员的生命财产和人民群众利益。

广阳地区留下坚持斗争的武装人员有：在思平、新兴边境的陈全、冯超、梁柏贤、梁新、梁伦、郑德坤、周全、霍才、郑祯、赵德、梁忠、梁辉、郑帝义、吴细仔、吴添、唐克玲、黄兰等十七人，由陈全、冯超负责；在阳江、阳春境内有马平、曹广、姚立尹、陈庚、陈枫、罗经、陈容、廖德、程明、郭金祥、曾继满、黄球、东锦、陈来、陈发、陈励、李良生、林效、陆批、吴旺、黄钦、贺和顺、石敬、刘廿九、李珠、朱仔、周胜、伍沃、伍国、刘福、黄余悦、李培、刘日民、梁源、杨彪、张凤庭、阮明、赵均、梁春、陈添、梁传胜、李德新、梁行、周祥、陈伙才、敏仔、梁杰、福田等四十八人，由马平、曹广、姚立尹、陈庚、陈枫 负资。上述人员归中区武装负责人吴桐、李德光领导。

北撤前，广东区党委就向各地党组织和武装负责人发出指示：“东纵北撒后，广东时局必有相当严重的黑暗时期，并非短时间内可能好转”，“因此总的方针是长期打算”，已复员的部队人员或党员“在两三年内应完全停止活动”。一九四六年七月又在《关于游击区武装问题处理办法》中，对坚持隐蔽的武装人员、复员人员的斗争进一步强调："群众斗争应以和平合法为主……减少冲突，互为配合，不轻易使用武器"。

广阳地区留下的武装人员，坚决贯彻执行中共广东区党委“隐蔽精干，长期埋伏，积蓄力量，以待时机”的方针。初期，为了更好地隐蔽，常常活动于深山林海之中，露宿于岩洞山头。有时找不到粮食，就吃野果、野菜和黄狗头充饥。后来，觉得这样不是办法，又通过各种社会关系，寻找公开的职业，坚持隐蔽斗争。在这段时间里，他们有的深入山区淘金、砍柴、烧炭、做木屐；有的到城镇、平原地区合股开米铺、行医、教书、做短工；有的到海边挑盐担，或开小盐场做小本生意；还有的在乡衬当雇工等。

由于工作、生活环境跟然改变，斗争方式由公开转入秘密，尤其是北撤后正常的联系途径中断，更兼经济来源匮乏，生活没有保障，生命受到威胁，很多人思想不通，深感彷徨。

北撇后，广东局势日趋恶化。国民党当局利用中共部队北撤和复员后，革命力量减弱之机，更加残酷地进行镇压。一九四六年七月间，国民党当局竞然违背保证复员人员安全的诺言，选派军政头目分赴各地召开“治安会议”，.部署“绥靖”、“清乡”计划，限期消灭人民革命力量。

自中区反动头目在开平三埠召开了“治安会议”后，敌在广阳地区，由正规军统领地方反动团、队，加紧围剿扣捕中共武装人员和复员人员。在各县成立了各种“剿匪”清乡机构，在乡村进一步强化保甲制度，实行连保连坐，强迫自新，迫害武装人员家属和支持革命的群众，镇压民主运动，推行“三征”（征兵、征粮、征税）苛政，对人民实行法西斯的统治。

在国民党反动派惨无人道的迫害下，分散隐蔽的武装人员和复员人员，处境更加险恶，原五团排长陈洪带领钟年、吴光仔、张侠、莫盛等在思平白银乡龙尾笃村以采金作掩护，坚持斗争。十一月二十日，其盛到陈广的安利米店买米，被陈广告密，陈洪等人遭敌围捕。莫盛被押恩城，死于监狱，陈洪被押往各县游斗，后死于顺德，钟年死于新会，吴光仔后保释。翌年二月一日，恩平夹水乡乡长梁池德拘捕我朱开连指导员黄志及其通讯员和女游击队员吴卓珍等三人，并杀害了黄志及其通讯员。在台南长田坝隐蔽的武装人员防德彪，送信经那扶圩，被那扶乡乡长李孔彬发现，即报该乡警察所所长冯华新，冯率队追捕。陈德彪一边围赤一边撒退，最后被冯华新令一支狩猎队夹击而牺牲。

在斗争处于极端困难的时刻，部分坚持隐蔽的人员，对使用“偃旗息鼓”的隐蔽斗争方式，尤其是在必要时采取“绿林豪杰”的形式感到很不理解：有的复员人员，在离开部队时，由于对形势认识不足，正如中共中央香港分局在一九四八年对《两年半来组织工作概况》中关于这个时期的工作指出的：在“思想上，由于领导强调困难，准备十年黑暗，长期隐蔽，停止党对组织的领导，停止组织生活，…对有利条件的存在及其继续生长，……胜利前进的前途，则没有充分的指出，”因而一部分坚持斗争的人员对斗争的前途缺乏信心，加上一些群众在国民党反动派的法西斯统治下，思想紧张、害怕，不敢接近隐蔽的武装人员，这就造成了部分人员的思想混乱，对斗争前途悲观失望，心情沉重，彷徨不安，个别队伍一度出现组织纪律涣散，个别人员思想发生动摇，出现了一些伤害群众的行为，偏离了正确的斗争方向。从整体来看，广阳地区坚持斗争的武装人员在敌人反复地进行残酷的清乡扫荡中，生命受到严重威胁，生活没有保障的情况下，大家团结一致，紧紧依靠人民群众，与绝对优势的敌人进行英勇顽强的斗争。他们历尽千辛万苦，不怕牺牲，百折不挠地分散坚持在山区、沿海地区以及有群众基础的平原地区，求得生存和发展。可以说，这个时期是党组织和人民武装经历的极端困难的非常时期。