狎奢，常对人曰“日用不给，奈何？”门生、下僚闻之，争相进献，“赇纳且集矣”，因此遭致物议。御史汪辉上疏讥刺时事，语连高拱，高拱召而骂之，亟补宁夏佥事以出。尚宝卿刘奋庸也上疏纠拱，给事曹大野则抗章劾拱不忠十事，有高拱擅权报复、排斥善类、超擢亲戚乡里门生故旧，以及亲开贿赂之门等等，穆宗不听。二人皆谪外任。
张居正与高拱为故裕邸旧僚，张居正谋高拱出，高拱也亟称居正才，两人尚称友善。高拱居揆席，张居正又肩随之。高拱多与同列发生冲突，张居正独退然下之，不与介入。对于智谋出众的张居正来说，长期屈居人下，是不甘心的。他退而不与争只是一种策略，高拱并不察知。隆庆五年张居正为徐阶三事讽言高拱。高拱下人传言张居正受徐阶三万金贿赂，高拱不辨真假，以此诮张居正，张居正怒，而高拱也疑曹大野之奏章受张居正指使。两人便存隙离交，张居正逐高拱之念渐强，于是暗结太监冯保，以借贵力量图事。 高拱著 《病榻遗言》四卷
隆庆年五月，穆宗大渐，召高拱、张居正等入内。穆宗执拱手曰：“以天下累先生”，宣内阁受顾命。时司礼监授遗诏，有二札，一给皇太；一授高拱，有遇事内阁与司礼监冯保商榷而行之说。高拱识其矫。未几，穆宗崩，神宗即位。神宗幼冲，冯保倚仗太后势，挟持幼帝。高拱欲惩官专政，上言五事，请诎司礼监权，还之内阁，又唆门下言路疏劾冯保。高拱想与张居正共成此事，使人语居正曰：“当与公共立此不世功。”居正得迅即密报冯知。冯保游说太后及幼帝前，诬高拱欺太年幼，欲废之而迎立河南周王，自己得国公爵等等。冯保又买通两宫近侍，复言之，“皇后与贵妃皆愕然”，便决议逐拱。第二天，即召群臣入，宣两宫及帝诏，切责高拱擅权无君，数其罪而逐之，即日归田里。高拱原满以为宣诏必是逐冯保无疑，及诏宣逐己，拱不啻为晴天霹雳，“面色如死灰”，“汗陡下如雨，伏不能起”。张居正从旁掖他起。第二天一早，柴车即路，颇为凄凉地踏上了归程。
回到老家，高拱意忽忽不自得，“角巾野服，恂恂一布衣”，不言国事，而“闭户却帚下帷著书八十余卷”。不料冯保害高拱之心不死，又造王大臣事件，欲置高拱于死地。吏部尚书杨博、御史葛守礼等知有诬，力救之，张居正贻书相慰安，乃止。高拱得免於难。不过从此他惊忧成疾，一蹶不振。万历五年（1577年），张居正回故乡湖北江陵葬父，路过高拱的故里，专程探望高拱。两人相见掩面而泣，感慨不已。万历年（15
…。。