1987年10月，当中共“十三大”召开时，他已七十有五了。他不再是中共中央委员，退居二线了。
他担任中共中央文献研究室主任、中共中央党史研究室主任。对于中共中央文献的编纂、中共党史研究，他出了大力。他多年来曾经起草过诸多中共中央文件，在毛泽东身边长期从事秘书工作，后来又多年担任中共中央领导工作，他确实是他担任中共中央文献研究室主任、中共中央党史研究室主任最佳人选。
胡乔木非常重视中共党史的研究。
谷羽曾经回忆说：
《关于建国以来党的若干历史问题的决议》通过后，乔木又一直希望编写出一部完整、详尽、准确、可信的党史着作。经他提议成立的中央党史研究室，开始还由他担任主任，后来不担任了，他对党史工作仍一直很关心。他本想亲自主持编写一部党史，但到1990年9月他的病被确诊力癌症后，确实已是力不从心了。在医院和家中，医生都一再叮嘱他静养休息，他只得请胡绳同志尽快主持写出一部完整的七十年党史本子来。虽然他不动手了，可是他的心总是安静不下，他经常思考的还是如何写好这部书。
……
到了1991年7月中旬，看看他那日渐衰弱的身躯，我真觉得心疼，我坚持要他到北戴河休养。开头几天，我把他看住了，不让他看书写东西，只是每天读读报，谈谈诗，散散步。我常常劝他：“你已经病成这个样子，现在应该注意自己的身体了，养好病，今后的时间还长，事情可以慢慢去做。”但是，乔木天生没有这份“清闲”的福气。7月28日，胡绳同志送来《中国共产党的七十年》的清样，请他审阅。这本书是为迎接党的七十周年生日，由尚昆同志，一波同志和他，以中央党史工作领导小组的名义，要求中央党史研究室牵头组织力量赶写的。乔木对这本书很重视。胡绳劝他不着急，看身体情况，慢慢来，着重看七，八，九章就行了。他一拿起清样，又不顾一切了。
虽然由于病情加重和药物反应，他经常头晕，恶心，但他还是用了不到五天的时间，把这三章看完了。他在清样上作了许多修改，有的地方是成段地补写，写得十分精采。他还写了许多小纸条，就某一事件的史实或论断提出具体修改意见。又找胡绳来谈了很久。乔木对这部书稿作了很高的评价，言谈之间显得十分高兴。他深情地对胡绳等同志说，要赶快将书印出来，我要对这本书表示负责，要写题记肯定这本书。尚昆同志听了乔木同志对书稿的评价，读了一些重要章节，赞成乔木的意见。8月下旬，在北戴河召集了中央党史工作领导小组会议，批准了《中国共产党的七十年》的出版。
《中国共产党的七十年》的那篇《题记》，开始为了减轻他的负担，请党史研究室的同志代他起草了一稿。他看了之后，亲自动手修改。他反复改了好几遍，才算定稿。定槁几乎是全部重写的。在外人看来，像乔木这样的大手笔，文章还不是一气呵成吗其实，在我的记忆中，乔木的文章总是一次次修改才能写成，有时直到送去排印时还在修改，几乎没有最后“定稿”的时候。他常说：“我的文章都是改出来的。”这篇《题记》，是乔木一生写的最后一篇评论文章。后来听说钱钟书读了甚为欣赏，誉之为“思维缜密，词章考究”。
在胡乔木主持下，为中共党史研究立下诸多“规矩”。比如，逄先知便曾经回忆，胡乔木对注释工作作出了重要的改革：
1984年，他对注释工作讲了一篇重要的意见。他说：最近几年，我修改了一些文选的注释，先是《鲁迅全集》的注释，后来又有《周选》，《邓选》的注释。我感到起草这些注释的同志都有一种通病，就是议论多，断语多，好像法官作判决一样。这个毛病可能是受《毛选》注释的影响。陈伯达当时搞《毛选》注释时就爱下断语。后来康生又说这些注释都是经过毛主席看过的。这样一来，凡是《毛选》注释上写了的，好像就成了“句句是真理”，再也不能变了。也就是说，注释上说这个人不好，他就很难翻身了。实际上人是变化的，鲁迅当时批评过的人，后未有不少都是很好的同志。我认为，写注释主要是对一些人和事的基本情况，历史背景作些必要的介绍，以帮助读者理解正文，切忌发议论，下断语，对某人某事评论不是注释者的事情。注释一定要准确。我在修改《周选》，《邓选》注释时，对每句话都是仔细斟酌的，把所有的议论和断语都删去了。文献研究室的注释工作就是遵循乔木同志的这个方针做的，在学术界，思想界获得好评。这是党的文献注释工作的一大改革。
在1991年，我曾写了《下“笨功夫”的中共党史专家》一文，称赞了中共党史专家们在文献注释工作的这一改革以及他们认真的工作态度：
1991年夏，我抵达北京不久，梁实秋的长女梁文茜便来看我。刚坐下来，她就十分兴奋地问：“新版《毛泽东选集》你看了吗？”她如此关心《毛泽东选集》，是因为选集中有一条关于梁实秋的注释与她休戚相关。过去的注释写道：“梁实秋是反革命的国家社会党党员。他在长时期中宣传美国反动资产阶级文艺思想，坚持反对革命，咒骂革命文艺。”这条加在《在延安文艺座谈会上的讲话》一文之后的注释，多少年来，成了她的沉重的政治包袱。如今新版《毛泽东选集》以实事求是的态度对待历史，对待历史人物，删去了旧版中那些失之偏颇的注释，客观地评价梁实秋，使梁实秋亲属如释重负，为之一块。
梁文茜还告诉我，中共中央文献研究室为了修改这一条注释，曾几次找她，核对梁实秋生卒年月及有关史实，工作态度极端认真，使她深为感动。
修改梁实秋条目，仅仅是新版《毛泽东选集》大量修订工作中的一项而已。很巧，我这次去京，有好几天“泡”在中共中央文献研究室那里。在跟中共中央文献研究室副主任金冲及教授谈工作时，他聊及了《毛泽东选集》新版浩繁的修订工作。
头发已经灰白的金冲及是一位历史学家，近年来致力于主编《周恩来传》。他说，新版《毛泽东选集》修订工作是中共中央文献研究室负责的，新版一至四卷虽然只比第一版增加了《反对本本主义》一篇，看上去工作量不大，但是背后那大量的查核工作鲜为人知。
他举了一个例子——第一卷的《井冈山的斗争》一文，内中提及湖南特委第二届委员中，有一位名叫“圆盘珠”。在百家姓之中，是没有“圆”的。经向当地了解，才知那儿有姓“盘”的家族。细细查询，终于查明“圆盘珠”系“盘圆珠”之误，甚至还查出了盘圆珠的小名。经过反复调查，这才决定在新版中改正。又如，此文中有两处提及井冈山出产“木材和茶、油”。经了解，井冈山那时虽有种茶的，但数量极少，看来文中有误。作了多次调查后，才查明“茶、油”应为“茶油”。为了删去一个顿号，他们作了大量的工作……
在查明讹误之处时，他们还查明了产生讹误的原因：毛泽东写的《井冈山的斗争》一文，是他当时写给中共中央的报告。报告极为机密，写毕，请人复抄三份，分别通过湖南省委、江西省委等途径送交中共中央。在抄写的过程中，产生了笔误……
金冲及说，新版充分尊重毛泽东原着，只有在反复查核、确证原文笔误、排误而加以改正之外，其余一律悉照原文。语句、修辞方面，他们请语言学家吕叔湘教授把关，凡可改可不改的则不改。
金冲及笑称，中共中央文献研究室是下“笨功夫”进行《毛泽东选集》的修订工作。一字之易，都花费了大量的心血。《毛泽东选集》是毛泽东思想的文字体现，是数以亿计的读者认真学习的经典着作，所以他们以高度负责的态度加以修订。在核对史料时，有一次查出第一版所据是《新华日报》某日的报道，而数日后《新华日报》曾登一更正却被忽视了，这次得以勘误。他们正在准备出版一本书，一一列出新版的更正之处，更正原因以及更正的依据。
他们的“笨功夫”感动了我。我想，不论做什么工作，都需要下这样的“笨功夫”。
逄先知还谈及，胡乔木对辞条的写作也作出了重要的改革：
1987年1月，乔木同志要我和文献研究室的一位同志，跟他一道修改大百科全书军事卷的《毛泽东》辞条。在修改过程中，引出他很多思想，讲了许多关于怎样写辞书释文的意见。他说：写百科全书这类东西，不要使用宣传性，颂扬性的词语，也不要使用党的文件，决议中论断性的语言，而要用客观陈述的方法，以保持释文的客观性和稳定性。事情要交代明白，时间要写清楚，尽量不要含糊和不确定。他对大百科全书释文的撰写提出的总的要求是：“有关中国方面的内容，应当力求准确，公允，可信；外国方面的内容，要力求不出错误。”在此之前，1986年10月，乔木曾就辞书重要人物条目不用颂扬性评价语（如“伟大的无产阶级革命家”等等）问题，写信给中央政治局常委，小平同志和其他常委都表示赞成。乔木这些意见，不仅为文献研究室撰写这类释文提出了原则性要求，而且成为我国各类辞书包括大百科全书在内，共同采用的撰写方法和统一体例。据查，对人物条目释文使用颂扬性评价语言，始于斯大林时期的苏联，后来移植到中国，在中国，一直延续到八十年代。又是乔本同志率先破除了这一传统，这对中国辞书编纂工作有着重要的革新意义。
在中共党史着作中，提及中共一大代表时，向来把毛泽东排在笫一位，胡乔木指出这样的顺序排列是缺乏历史根据的。根据他的意见，出席党的一大的十二名代表是：“上海小组的李达，李汉俊……长沙小组的毛泽东，何叔衡……”这样的写法，确是更加切合历史的实际了
<hr />
注释：