南越国不过是汉帝国南方小小的一隅，然而在刘恒眼中，它却成为了自己树立威望的道具。谁都清楚，南越人无意挑衅汉朝，汉朝人更不是灭不了南越。但不巧的是，这个小国家却和帝王的名誉挂上了钩。刘恒急需通过招降南越，来树立自己的威名。
蔡东藩有首《赞汉文帝怀柔赵佗》诗，诗云：“武力何如文教优，御夷有道在怀柔。诏书一纸蛮王拜，伏地甘心五体投。”（《前汉演义》第四十七回）诗的内容很白话，讲的是南越王赵佗向刘恒称臣，然而这首诗背后却有一个不简单的故事。
秦朝统一六国之后紧接着平定了杨越地区，设置了桂林郡、南海郡和象郡。这三个郡荒凉落后，对当时的人而言，绝对算得上是穷乡僻壤，因而成为了秦朝罪犯、官员的流放之地。流放至此的罪犯们与越人杂居，生活了十三年。
秦朝末年，南海郡郡尉任嚣病重。郡尉本来是郡守的副职，掌军事，但是由于南海郡蛮夷太多，民风彪悍，加上平定不久，所以一直是让郡尉当一把手，由军事长官将军政大权“一把抓”。
任嚣病重期间念及自己时日无多，知道此时天下大乱，因而找来了手下心腹龙川县令赵佗，对他说：“中原大乱，群雄逐鹿，不知道什么时候能安宁下来。现在已经有不少人脱离秦朝统治而自立了。我本来打算派兵切断和中原的联系，等待时机大展雄图，然而如今我病重了，保卫不了咱们这个地方。番禺靠山面海，地域广阔，还有不少汉人智者可以帮我们，弄好了还可自立为一方之主，建立国家。郡里的官吏都不可信，我才叫你来，将这些事情托付给你的。”说完，任嚣写了一张委任状，让赵佗代理南海郡尉。
没过多久任嚣就撒手人寰，他死后，赵佗立刻下令派重兵扼守横浦关、阳山关、湟溪关三处重要关隘，同时斩杀了过去秦朝在当地的一些官吏，全部安插了自己的亲信。
秦朝灭亡之后，赵佗吞并了桂林郡和象郡，关起门来当地头蛇，自立为南越武王，称霸一方。
汉高祖平定天下之时，按照《史记·南越列传》的说法，刘邦不愿意再让百姓经受战乱，所以才没有征讨南越国。然而，从刘邦在高祖十一年（公元前196年）才派遣陆贾出使南越国来看，刘邦在立国初期不处理南越国的问题主要是因为两点。
第一，刘邦压根没有重视南越国立国的问题。“布衣天子”听起来很亲民，但总免不了会有些目光短浅的毛病。刘邦的短见及其危机意识的缺乏，最终直接导致了赵佗势力的坐大。
第二，此时的国内内乱繁多。政治斗争和平叛早已经让刘邦忙得不可开交，加之北边还有匈奴的威胁，他哪里顾得上南边的蛮夷呢？而且刘邦在统一天下后还解散了许多军队，士兵数量大减，赵佗在南方僻远之地建国，刘邦实在无力分兵前去征讨。
然而问题总归是要解决的，陆贾的出使成功说服了赵佗归顺。刘邦与赵佗交换了符节，要求赵佗在南越地区处理好民族关系、同长沙国政府积极往来、和当时的长沙王吴芮搞好关系。
刘邦能够答应这样没什么“油水”的议和条件，无疑是展现出了一种求和的姿态。刘邦到最后还是没能力对南越动武，可见汉初整个国家在饱经战乱后国势的衰微。好在南越民风淳朴，少数民族嘛，剽悍是剽悍，但那是人家性子直，反过来讲，就是讲义气好说话知恩图报懂得大义，所以南越才会同意归顺。
然而，归顺的行为终究是南越人主动的，刘邦只是抛出了橄榄枝，赵佗原本可以不接。这就意味着，在南越人的心中，他们自己都一直处于优势地位，习惯上还是觉得自己比汉朝人厉害一等。所以在吕后时期，一遇到汉朝在铁器方面的封锁，他们就反叛了，而且认为是长沙王吴右（吴芮曾孙）为了满足自己扩张疆域的欲求而挑唆吕后做的。
于是愤怒的赵佗不称王了，直接自称为南越武帝，发兵攻打长沙国，连败长沙国数县。吕后闻后大惊，派隆虑侯周灶带兵征剿，结果水土不服导致了军队中瘟疫流行，士兵上吐下泻，汉军只好作罢。
公元前180年七月，吕后驾崩，赵佗趁机发展势力，收买了闽越王无诸的闽越国、广西地区的西瓯国、越南北部的骆越国。这一下，南越帝国的疆土东西长达万余里，疆域大增。赵佗也洋洋得意起来，用起了佩有黄屋左纛的车马仪仗，俨然一副中原皇帝的气象。赵佗要求汉朝将长沙郡划归南越国境内，这些行为处处显现出挑衅的意味。
到了文帝前元元年（公元前179年），南越国已经成了一块烫手的山芋，然而刘恒却并不着急，刘恒正嫌没地方展现他的才能、树立他的威信呢，赵佗越活跃，刘恒越高兴。虽说派兵剿灭南越国不是什么难事，但刘恒是为了宣传新政，要以德服人。所以刘恒做了两件事来为他以德服南越国做铺垫：
第一，派专人保护赵佗父母位于真定的墓，并按时祭祀；
第二，将赵佗在老家的兄弟们都封以高官，赏以厚禄，表示对赵佗的尊宠。
在处理赵佗的问题上，刘恒针对的不单单是南越国一个国家。他是借处理赵佗的问题，来给所有的异姓诸侯王国和少数民族地方势力做出一种姿态，一种宽容、大度的姿态，借之收买人心，来树立这些诸侯王、少数民族以及老百姓对他的信心，让人们相信他能够摆平王国问题和民族问题这两件事。
在陈平的推荐下，刘恒再次派遣陆贾出使南越国，随行带有刘恒的书信，也就是劝降书一类的物品，信中说道：
“汉皇帝诚挚地问候南越王。我不是高皇帝嫡出的儿子，后来被封到代国，那地方离南越国太远了，而且那时候我还年轻，见识浅薄，所以一直没有和南越国联系。
“高皇帝死得早，孝惠帝也没活几年就驾崩了，吕后后来称制，但她的身体一直不太好，所以有时候想事情半天转不过弯。吕家人比较蛮横，拿假冒的刘氏后裔继承孝惠帝的皇位。好在神灵保佑，吕氏家族已经被功臣们干掉，大汉重新安定。
“前几天看见您让隆虑侯转交的书信，让我找到您的兄弟并撤回攻打您的军队。我现在全都照办了。以前听说大王您老骚扰我们的边境，搞得长沙国和南郡鸡犬不宁，我就想啊，这对你的国家有什么好处？不过是死更多的士兵，让更多的将领残疾，弄出更多的寡妇孤儿和留守老人罢了，这就叫‘得一亡十’，我实在不忍心。
“我打算把南越国周围的那些土地都赠送给您，可是有人给我说那都是高皇帝安排的，我也改不了。有人说你那块地方对我们汉朝而言并不大，不如全让你管算了。虽然大王您已经称帝了，但两帝并立，总需要有个使者联络联络感情，好歹您也提前知会我一下呀。所以我让陆贾跑来，您要是答应我们的条件，就别再来骚扰我们的边境了。我这里有五十件厚棉衣、三十件中等棉衣、二十件薄棉衣给您，希望您忘却忧患，好好享乐，顺带问好闽越国、西瓯国、骆越国。”
仔细分析刘恒的书信，首先是姿态放得很低，毕竟刘恒是在赌赵佗会投降，他要利用赵佗的投降树立威信、聚拢人心，所以必须放低姿态来增大议和成功的概率。
其次是不揽任何实际责任，消除赵佗和自己的芥蒂。不管什么措施和建议，只要是让赵佗不高兴的，那都是刘邦、吕后和群臣们干的。
三来如果赵佗有心议和，刘恒的姿态这么低，那他赵佗应该更低才是，那就更能满足刘恒追求名誉的想法了，让南越国在和汉朝的交往中处于绝对的弱势，这是刘恒心里的小九九。
赵佗本来就知道自己终究是不可能战胜汉朝的，他不过是“以战求和”，看到刘恒的书信之后赶紧借坡下驴，于是回信说道：
“南方蛮夷的首领赵佗问好汉皇帝。当年吕后欺负我们南越人，不卖给我们铁器，我怀疑这是长沙王说了我们南越人的坏话，加上后来又听说吕后把我一家子全杀了，还挖了我家祖坟，所以才断绝了和汉朝的来往，攻入了长沙国的边境。
“至于称帝这件事，那是皇上您不了解情况，我们这里的闽越国、西瓯国、骆越国等原始野蛮国家的头领都称了王，我想管着他们，所以不能一个叫法。但由于臣没文化，也起不来别的名字，所以才称帝，不过也就是自己玩玩，哪敢跟皇帝您正式汇报呢！”
于是赵佗叩头认错，并且下诏说：“一槽容不得二马，两个英雄不能同时并存，说到底还是人家汉朝皇帝牛，以后我不再称帝，也不用皇帝的仪仗了。”
刘恒听完很高兴。经过这件事，刘恒的民众支持率暴涨，因为老百姓都知道，在刘邦时代，诸侯、土酋经常反叛，而他们现在却都归降了。这一下，汉朝人的心理优越感逐步恢复了，对刘恒的信任也加强了，国家对未来更自信了。
招降南越国是刘恒在位期间，在处理民族事务上做得最成功的一件事。