大夫山早年叫大乌岗,后因当地人民纪念西汉初年的朝中重臣陆贾大夫而改此名。陆贾,楚国人。他是历史上能言善辩的谋士,曾帮助汉高祖刘邦平天下、坐江山。我国当时中原一带,各路诸候为得天下,刀兵相见,战火濒纷,百越人赵佗便趁机在南越(今广东、广西一带)番禺自立为南越武王。汉高祖得天下后,不想用兵征伐南越赵佗,于是派谋士陆贾南下说服赵佗归顺汉朝。陆贾凭着他出色的口才,深陈大义,终于收服了赵佗,并代表汉朝廷授印封赵佗为南越王。陆贾因此有功,被封为上大夫。刘邦死后,太后专政,偏听朝中一些自命清高的官员之词,视岭南一带为蛮夷之地,加以岐视。赵佗因此对朝中不满,再次自立为南越武帝。至后汉,孝文帝只好又派陆贾大夫南下,再次说服赵佗归顺汉朝。前后17年里,陆贾大夫从中原两下南越番禺,说服边民,为维护国家统一作出了重大贡献。这段历史典故,在南越大地传为美谈,广州市内陈家祠现在有精美的雕塑重现了这一史实,大夫山上建有大夫阁、大夫书院等。
南越人民将大乌山改称大夫山,有两种说法。一说是陆贾大夫死后就葬于此山,但史书并无记载;二说是陆贾大夫南下说服赵佗时必经此地,有一次路过时,人困马渴,情急之下,马用前蹄踏地,竟刨出了一口甘泉,百姓便改称大乌岗为大夫山,将甘泉呼为饮马泉。无论哪种说法,都是广大南越人民对于陆贾大夫的敬重和怀念。