八十大寿后的一个月，病情急剧加重了。
那是6月30日晚，胡乔木觉得右腿特别疼，不知什么原因。
翌日下午，三0一医院的骨科大夫上门，原本是为了向胡乔木家属讲授如何护理、防止骨折的一些主要事项，因为他们知道胡乔木的骨质已很疏。听说腿疼，经大夫一检查，断定是骨折——这是癌症病理性骨折，虽说他？没有摔交或受撞。随即入院拍X光片，证实大夫的判断完全正确。
从这一天起，胡乔木躺上了病床，再也没有下过病床。他一步步接近人生的终点——从拄拐杖、坐轮椅到卧床。
由于骨折，加剧了癌扩散。
8月2日，他在病床上，给母校扬州中学亲笔写信：
你们写信给吕骥同志，请他为校歌作曲，吕骥同志因忙于他事，要我转请当代着名作曲家傅庚辰同志作曲。傅建议我将原题词稍加扩充，我已和他合作了一首，前已送上，后觉此歌仍不适于作校歌，故又补写了一段作为第一段，仍请傅庚辰同志作曲，傅又另作了一曲，？唱给我听了，我觉得此曲旋律优美，感情洋溢，表示满意。现将新的校歌词曲再寄上，请查收。收到后，望简覆表示收到。傅现任解放军艺术学院院长，来信望对他致谢。
这里提及的校歌，原是为了庆祝扬州中学九十周年校庆，胡乔木为母校题词，题词以诗行形式写的，结果被扬州中学用作校歌歌词。
8月14日，胡乔木转往三0五医院治疗。中共上海市委秘书长王力平派人看望他，他想亲笔覆信，勉强执笔，因笔迹太乱，只得作罢，托来人带口信去上海。
9月初，癌扩散至肝、肺，胡乔木的呼吸变得困难了，讲话也很吃力。
他已无法坐起来写字。9月9日，他躺在病榻上，把信纸夹在一块玻璃上，吃力地亲笔给扬州中学写信——这是他这枝“笔杆”平生的最后绝笔。
信的全文如下：
8月28日来信并给傅庚辰同志信，9月5日收到。我在病床上得悉你们全校师生一起投入学习新校歌的热潮，自然也加倍感到兴奋。你们对新校歌的评价虽然过高，但是全校师生如此热情却使我这个在校六年（1924-27江苏八中，1927-1930江苏扬中）的老校友与扬州中学结下了新缘分。我说在病床上写信和写作歌词，这是实情，但我决不希望有任何人以任何名义来此慰问之类，对此我决不接见。此事务请坚决彻底做到。
待傅庚辰同志来信收到后一并发出
此信由于“待傅庚辰同志来信收到后一并发出”，扬州中学收到时已是10月4日，胡乔木已不在人世。
由于呼吸日渐困难，护士给胡乔木戴上氧气面罩。
9月12日，三0五医院发出了胡乔木病危通知。他却？未意识到自己的生命已危在旦夕，既未写遗嘱，也没有作临终嘱咐之类。他念念不忘的是改定他的诗集。
胡乔木喜欢写诗，既写新诗，也写旧体诗。1988年，由人民文学出版社出版了他的诗集《人比月光更美丽》。病中，他想修订再版此书，增加了一首诗，增加了附录，又口授后记，让秘书记录、整理。
9月21日，胡乔木嘱，把诗集增订稿送钱锺书审定——他和钱锺书有着深谊，诗集初版时便请钱锺书题写书名。
才一两天，钱锺书就看完增订稿，退回胡乔木。9月24日，女儿木英把改定的后记、附录念给胡乔木听。胡乔木细细听罢，这才说：“就这样吧！”说罢，如同了结一桩心事。
病中，他每日早上听新闻广播，听家人？报纸。每日必读报，是他几十年养成的习惯。
这时的他，运用氧气面罩都感到气闷，改用呼吸机帮助呼吸。
9月27日，他从新华社上海电讯中得知，25日是文坛耋宿巴金八十八岁生日，文艺界纷纷向巴老致贺。他也要向巴金致贺，虽说这已是“迟到”的贺电。他要新笔写贺词，无奈手已颤抖，无法握管。于是，他只能轻声口授电文：
“连日卧病，不克到沪，亲临致贺。写给巴金文学大盓八十八岁寿辰。胡乔木。”他的生命列车，已经悄然驶入终点站。当天深夜十二时，血压剧降，接近零。
亲人们急急赶到医院，他已不省人事。大夫们尽力抢救，进行人工呼吸。翌日晨七时十六分，他的心脏停止了跳动。
他曾写过《秋叶》，而他正是在叶落知秋的时节离开这个世界：
在他去世后不久，新华社于10月3日发出四千字电讯《胡乔木同志生平》。由于不再举行追悼会，这电讯实际上相当于悼词。电讯末段，对胡乔木的一生进行了评价：
胡乔木同志的一生是革命的一生，是追求真理、献身于共产主义事业的光辉的一生。他一贯努力学习、研究和宣传马列主义、毛泽东思想。他博学深思，勤奋笔耕，经过长时期的刻苦磨练，终于成为才学超？的在党内外享有盛名的学者和辞章家。对于党的解放思想、实事求是的原则，他积极倡导，身体力行。他具有高度的党性，坚持原则，顾全大局，一切服从党的安排。他几十年如一日，把毕生的精力毫无保留地奉献给了党的思想宣传事业，奉献给了党的重要文献的起草和编纂工作。他尊重知识、尊重科学、尊重人才。他治学严谨，一丝不苟，对工作兢兢业业、勤勤恳恳，竭尽全力完成党所交给的每一项任务。他始终以共产党员标准严格要求自己，谦虚谨慎，戒骄戒躁，廉洁奉公，生活俭朴，组织纪律性强，鄙视以权谋私的不正之风。1983年8月16日他倡议身后将遗体交给医学界利用，以后又提出在他去世以后把角膜捐献出来。他的革命精神和优良品德是全党学习的榜样。