于是趁着天亮前半明半暗的光线，拿了古董偷偷到街边摆摊贩卖，既躲开了熟人还做成了买卖。京城是皇城，当年是官僚世家集中地，此时破败的显贵也不少，久而久之，沿袭成市就是“鬼市”了。
又一种说法是鬼市开市时间早，天还没亮，又没有电灯，乌漆抹黑的，穷人打燃火石，富人提着灯笼，幽幽晃晃如鬼火一般简陋的照明设备下，人影穿梭停走，飘忽不定。鬼没半只，鬼气先有了。再加上很多梁上君子也到此脱手一些见不得光儿的玩意儿，更有造假者趁乱兜售一些赝品，两者又都是鬼鬼祟祟的。前前后后总之是离不开“鬼”字，鬼市由此得名。
管潘家园的鬼市到底是哪种出处，也不管可信度有多少，各种传说都为潘家园平添了神秘感，商户们乐意传，游客们也乐意听，反正双方都开心。潘家园鬼市更成为了京城一景，在现代化都市里保持着古代的情趣，这也是潘家园作为“文化市场”的独特魅力吧。”