源于“芈”(mǐ )姓，出自春秋时楚国公族“芈潘崇”之后，属于以先祖名字为氏。公讳崇字道安，楚成王时大夫，穆王立，以其太子宫予公，使为太师，掌国事，环列之尹，楚国大治，有认楚公族后以字为氏，列公为潘姓始祖之一。

潘崇家族由于受到楚王的特别恩宠，故发展特别快，其后裔子孙的足迹几乎遍布楚国各地，在古籍中所记载春秋时代的潘氏名人，几乎都是楚国的人物。今天山东、江苏、浙江、河南等地，皆有该支潘氏的后裔。

(二)以国为姓

潘姓始祖季孙公之墓以国名为姓，出于姬姓。毕公高的小儿子季孙封邑在潘。春秋后国灭，其子孙不以姬为姓而以国名为胜，奉季孙为潘姓始祖。又，番，邾国也。夫差取番者，番首姿，又音蒲。还音烦，音盘者即潘氏。

(三)源于姚姓

源于姚姓，是上古舜帝姚重华后裔，是以国名为姓。《史记》《中国姓氏》记载，舜帝生于姚墟，因姓“姚”，建都于潘地(今北京延庆)。后将潘地移至今陕西省兴平。商王朝时期，舜帝后裔建有潘子国，到殷商末期被周文王所灭，其子孙遂以国名为姓氏而姓潘。

(四)因地得姓

因地而得姓。水在河南，住在潘水边的人以水地名为姓。下雒城西南故潘城，有以地为氏者 。

(五)鲜卑改姓

北魏孝文帝汉化改革时，改鲜卑破多罗氏为单姓潘 。 清康熙末年，台湾岸里大社(今台湾省台中市神岗)酋长阿穆归顺清廷，被赐姓为潘;光绪时，台湾高山族相率归化清廷，也被赐姓潘(这也就是台湾高山族人大多姓潘的重要原因)。

(六)汉化改姓

源于其他少数民族，属于汉化改姓为氏。在今水族、京族、土家族、彝族、瑶族、仫佬族、回族、壮族、布依族等少数民族中，均有潘氏族人分布。

江苏潘氏统宗谱十公元1684年潘埙原撰，潘下秋纂江苏省淮安县图书馆

江苏潘氏统宗谱十二卷公元1784年潘松崖增修北京师范大学图书馆、江苏省淮安县图书馆

江苏潘氏续修宗谱公元1926年潘兰璘续纂江苏省淮安县图书馆

浙江湖州潘氏纯孝世谱待考待考人民大学图书馆

浙江湖州汇嘴潘氏家乘公元1829年潘炯纂修南京大学图书馆

浙江长兴潘氏谱公元1897年潘宝生纂浙江省长兴县博物馆

安徽和县历阳潘氏宗谱公元1918年潘家满潘启树等纂安徽省博物馆

安徽庐江潘氏宗谱公元1890年潘鼎立修安徽省图书馆

安徽庐江庐州潜川潘氏宗谱公元1896年潘家裕修美国尤他州家谱学会

江西婺源桃溪潘氏三仕宗谱公元1868年潘氏族人修中国国家图书馆

江西万载湖源潘氏族谱公元1871年潘亮高纂修江西省图书馆

山东冠县潘氏一支字辈：“...学占玉龙立，凤贵洪汝文...”

浙江台州仙居下各前潘潘氏:仁孝直友军 国朝行金时 选泽大光宗

山东临沂潘氏字辈：“玉廷国红云”

山东日照潘氏字辈：“廷远兆(昭)维(惟政)月(明)广(光星)培锡延贵希”。

山东诸城潘氏字辈：“远兆维月光继”。

山东青岛潘氏字辈：“立新维孝友”。

山东惠民、河北枣强潘氏字辈：“宗昌建德洪书增佃”。

山东聊城潘氏字辈：“尚文大福廷金臣悦子立”。

广东茂名潘氏字辈：“泰平安帮国文章达朝廷”。

广东南海潘氏字辈：“富庆海仲干嘉裕敏”。

广东海丰潘氏字辈：“锦穗礼团孝吉”。

江苏溧阳潘氏字辈：“忠武贲威峻卿辅乾程皓策楚”。

江苏滨海潘氏字辈：“长如廷学……”。

江苏徐州、丹阳潘氏字辈：“建文道德绍”。

江苏宿迁潘氏字辈：“守存新良如”。

江苏江宁潘氏字辈：“国本仕文相长明益天兴家修呈启正道德秉朝廷”。

江苏灌云潘氏字辈：“永志加祥大”。

浙江乐清潘氏字辈：“宗常荣华锦，通泰教秀齐……”。

四川大竹潘氏字辈：“文程开世运，兰家正贵生。。。

安徽芜湖潘氏字辈：“传嘉维礼正，尚志学文忠”。

湖南安化潘氏字辈：“(旧派行)添万汝鸾循文志思心廷起金祖(正)承之起永长大 (新派行)忠厚传家久 存心启裔昌 经营多秀实 绩治载元黄 博学诗书富 宗儒月桂香 乾坤敦孝蔚 仲伯笃恭芳 燕翼贻谋远 周基德泽良 季孙分衍派 世代与天长”。

潘氏一支字辈：“云世朝大有良”。

潘氏一支字辈：“锡永桂灵塔铸汇材炬城金汕束烽坚银河炼杰基”。

潘氏一支字辈：“文章华国世成中和”。

潘氏一支字辈：“树然培锡汝林焕基金永”。

潘氏一支字辈：“忠孝纯和德懿恭世盛昌肃雍昭礼乐光显耀文章周道宏元化明才立大纲雄姿腾夏校媚寿养虞庠温润珪璋器清芬兰惠香乃云承祖武蕃衍久传芳”。

潘氏一支字辈：“凤建玉俊长守祖宗法，忠孝克传家”。(朝廷有忠良，国家万代安。)

潘氏一支字辈：“文永习宜昌，天黄演志长，周姬开爵土....”

山东济阳县潘氏字辈：“斯文修理志成尚儒”