（一）始于芈姓
源于“芈”（mǐ ）姓，出自春秋时楚国公族“芈潘崇”之后，属于以先祖名字为氏。公讳崇字道安，楚成王时大夫，穆王立，以其太子宫予公，使为太师，掌国事，环列之尹，楚国大治，有认楚公族后以字为氏，列公为潘姓始祖之一。
潘崇家族由于受到楚王的特别恩宠，故发展特别快，其后裔子孙的足迹几乎遍布楚国各地，在古籍中所记载春秋时代的潘氏名人，几乎都是楚国的人物。今天山东、江苏、浙江、河南等地，皆有该支潘氏的后裔。
（二）以国为姓
以国名为姓，出于姬姓。毕公高的小儿子季孙封邑在潘。春秋后国灭，其子孙不以姬为姓而以国名为胜，奉季孙为潘姓始祖。又，番，邾国也。夫差取番者，番首姿，又音蒲。还音烦，音盘者即潘氏。
（三）源于姚姓
源于姚姓，是上古舜帝姚重华后裔，是以国名为姓。《史记》《中国姓氏》记载，舜帝生于姚墟，因姓“姚”，建都于潘地（今北京延庆）。后将潘地移至今陕西省兴平。商王朝时期，舜帝后裔建有潘子国，到殷商末期被周文王所灭，其子孙遂以国名为姓氏而姓潘。周文王灭潘子国后，周武王又封舜帝33世孙妫满为周朝12个大诸侯国之一陈国国君，妫满即陈胡公,妫满保留祖上属地为姓的潘姓，至西汉谏议上大夫妫平（舜帝69世嫡长孙）复改祖宗舜帝姚重华之姚姓，改称姚平，姚平率舜帝后裔迁隐荒野南蛮吴兴郡后定长子长孙为姚姓，并以吴兴姚氏为舜裔主脉，今中华姚氏求正堂德府世家德主人姚丹萍即是舜帝姚重华的嫡裔140世孙。其余分姓陈、田、胡、虞、姬、陆、文、潘、孙等姓，一防不测风云，二纪念祖宗曾有的属地。
（四）因地得姓
因地而得姓。水在河南，住在潘水边的人以水地名为姓。下雒城西南故潘城，有以地为氏者。
（五）鲜卑改姓
北魏孝文帝汉化改革时，改鲜卑破多罗氏为单姓潘。 清康熙末年，台湾岸里大社（今台湾省台中市神岗）酋长阿穆归顺清廷，被赐姓为潘；光绪时，台湾高山族相率归化清廷，也被赐姓潘（这也就是台湾高山族人大多姓潘的重要原因）。
（六）汉化改姓
源于其他少数民族，属于汉化改姓为氏。在今水族、京族、土家族、彝族、瑶族、仫佬族、回族、壮族、布依族等少数民族中，均有潘氏族人分布。

荥阳郡：三国魏正始三年（242年）始置郡。古荥阳在今河南荥阳东北，北魏移至今县。曹魏曾置荥阳郡。北齐为成皋郡。隋唐为郑州荥阳郡。此支潘氏为汉献帝时尚书左丞潘勖之族所在。
广宗郡：东汉永元五年（93年）置县，治所在今河北威县东。隋仁寿元年（601年）避太子广讳，改名宗城。十六国后赵为建兴郡治；北魏为广宗郡治。此支潘氏，出自潘勖之后，其开基始祖为晋代广宗太守潘才。
河南郡：汉高帝二年（205年）改秦三川郡治。治雒阳（今河南省洛阳市）。隋有豫州河南郡，唐为洛州河南府，辖境都远小于汉河南郡。元为路，明为府。此支潘氏，多出自鲜卑破多罗氏之后，其开基始祖为潘威。
豫章郡：楚汉之际始置郡。治南昌，辖境大致同今江西省。后世所辖渐缩为南昌附近一带。又隋改南昌县为豫章县。唐后期改钟陵县，又改为南昌。此支潘氏为潘崇之后。

黄门堂：西晋潘岳曾任河阳令、著作郎、给事黄门侍郎等职，故以其黄门侍郎之职称为堂号，又因其为荥阳中牟（今属河南）人，也称为“荥阳堂”。
此外，潘姓的主要堂号还有：”荣杨堂“、“承志堂”、“如在堂”、“花贤堂”、“笃庆堂”、“优肃堂”、“永言堂”、“司谏堂”、“春茂堂”、“花果堂”、“世德堂”、“荥阳堂”等。