但是，这一提法引起了毛泽东的反感。1967年12月17日，毛泽东在对湖南省革命委员会筹备小组的报告的批示中批评了这一提法。他说：“绝对权威的提法不妥。从来没有单独的绝对权威，凡权威都是相对的，凡绝对的东西都只存在于相对的东西之中，犹如绝对真理是无数相对真理的总和，绝对真理只存在于各个相对真理之中一样。”“大树特树的说法也不妥。权威或威信只能从斗争实践中自然地建立，不能由人工去建立，这样建立的威信必然会垮下来。”1968年3月22日，毛泽东让林彪在宣布撤销杨成武、余立金、傅崇碧职务的“三二四”大会上讲一讲这个相对和绝对。1970年，毛泽东在南巡时便说：“什么‘大树特树’，名曰树我，不知树谁人，说穿了是树他自己。”这个“他”就是指林彪。

中共九大以后，毛泽东继续对他认为不再需要的、过分的、将为后人诟病的个人崇拜降温。他在审阅文件时，多次删去加在他“发展马克思列宁主义”前面的“天才地、全面地、创造性地”三个副词。但是，林彪、叶群等却把毛泽东为个人崇拜降温的举措称为“伟大的谦虚”，同时把别人跟着毛泽东为个人崇拜降温称为反毛泽东思想。

于是，林彪抓住张春桥一次关于删去三个副词的发言，在庐山召开的九届二中全会上联合陈伯达，高举天才的旗帜，对张春桥大加挞伐。张春桥民愤很大，林彪将其作为攻击目标并没有错，很得人心，问题是兴师问罪的文章的题目错了。在毛泽东为个人崇拜降温的背景下，还要坚持称天才，岂非自讨没趣？攻击的时机也不对。在毛泽东仍然坚持其无产阶级专政下继续革命理论的时候，要拿掉张春桥，就触及了毛泽东的底线。于是，毛泽东写了一篇批天才论的文章《我的一点意见》，林彪发动的这一场文不对题、时机错误的斗争就以失败告终。他对毛泽东唱了多年的赞歌也戛然而止。

林彪是在1959年庐山会议后崛起的，又在1970年庐山会议上失败。可谓兴也庐山，衰也庐山。

林彪是靠搞毛泽东的个人崇拜起家的，又在个人崇拜问题上栽了跟头。可谓成也个人崇拜，败也个人崇拜。