来源有三:
1.出自姬姓,为周文王子毕公高后。毕公高封其子季孙于潘,附庸于毕国。据说其地在今陕西省北部,子孙以采邑命氏。
2.出自芈姓,春秋时楚国有潘氏,见于家传者始租为潘崇。潘崇官拜楚穆王太师。《 通志。氏族略三》 :"潘氏,芈姓,楚之公族,以字为氏。潘崇之先,未详其始或言毕公高之子季孙食采于潘,谬矣。潘岳家风诗自可见。晋亦有潘父,恐自楚往也。汉有潘瑾,后汉有潘勉。"
3。出自北方鲜卑族,后魏时,代北鲜卑有姓破多罗者,后改潘。