在他被钦定为主考官之后唐寅还请他为自己的一本诗集作序。这已在别人心中产生怀疑。这次又听程敏政在考场这样说，就给平时忌恨他的人抓到了把柄。一帮人纷纷启奏皇上，均称程敏政受贿泄题，若不严加追查，将有失天下读书人之心。孝宗皇帝信以为真，十分恼怒，立即下旨不准程敏政阅卷，凡由程敏政阅过的卷子均由李东阳复阅，将程敏政、唐寅和徐经押入大理寺狱，派专人审理。徐经入狱后经不起严刑拷打，招认他用一块金子买通程敏政的亲随，窃取试题泄露给唐寅。后刑部、吏部会审，徐经又推翻自己供词，说那是屈打成招。皇帝下旨“平反”，程敏政出狱后，愤懑不平发痈而卒。唐寅出狱后，被谪往浙江为小吏。唐寅耻不就任。
关于这场会试泄题案，记载很多，说法不一。实际上这是统治阶级内部斗争的结果。《明史·程敏政传》云：“或言敏政之狱，傅瀚欲夺其位，令昶奏之，事秘莫能明也。”但毫无疑问，这一事件对唐寅来说是极其严重的。从此唐寅绝意仕途。归家后纵酒浇愁，游历名山大川，决心以诗文书画终其一生。
明弘治十三年（1500），唐寅离开苏州，坐船到达镇江，从镇江到扬州，游览瘦西湖、平山堂等名胜。然后又坐船沿长江过芜湖、九江，到庐山。庐山雄伟壮观的景象，给唐寅留下深刻的印象。在他以后的绘画作品中被充分地反映了出来。他又乘船溯江而上到了黄州，看到赤壁之战遗址。唐寅的《赤壁图》即依此所画。后又南行入湖南，登岳阳楼，游洞庭湖。又南行登南岳衡山。再入福建，漫游武夷诸名山和仙游县九鲤湖。唐寅由闽转浙，游雁荡山、天台山，又渡海去普陀，再沿富春江、新安江上溯，抵达安徽，上黄山与九华山。此时唐寅囊中已罄，只得返回苏州。唐寅千里壮游，历时9个多月，踏遍名山大川，为后来作画增添了不少素材。
返回苏州，家中非常清贫，妻子大吵大闹，终于离他而去。他住在吴趋坊巷口临街的一座小楼中，以丹青自娱，靠以卖文鬻画为生。他在一首诗中写道：“不炼金丹不坐禅，不为商贾不耕田。闲来写幅丹青卖，不使人间造孽钱。”以表其淡干名利、专事自由读书卖画生涯之志。
唐寅三十六岁时选中城北桃花坞，建了一优雅清闲的家园，度其清狂生活。桃花坞原是宋人章庄简的别墅，但经风雨沧桑，早成一片废墟。不过这里景色宜人，环境十分幽静，一曲清溪婉蜒流过，溪边几株野桃衰柳，一丘土坡，很有几分山野之趣。第二年唐寅用卖画的钱建成了桃花坞别墅。虽只几间茅屋，檐下
…。。