胡耀邦的女儿满妹回忆说，父亲下台后，许多老朋友、老同事、老部下想到家里来看望，他一一婉言谢绝了，怕连累了人家。“十几个月里，他足不出户，终日不语……除了读书思考，总是长久地沉默着，独对晨曦和落日。”
中共前总书记胡耀邦最后一任政治秘书刘崇文在2009年第9期《炎黄春秋》撰文《胡耀邦逝世前半年的心态》披露，生活会后，他曾同夫人李昭去看望过邓小平一次，谈了15分钟左右，邓很冷淡。在与刘崇文的日常交谈中，他尽量回避提到邓小平和陈云，万不得已时也从不直呼他们的名字，而是用摸右边耳朵代表指小平，摸左边耳朵代表指陈云，可见其之噤若寒蝉。此文中披露了刘的保密记录。
