上海的中共地下组织在艰难中孤军作战，既面临国民党当局的白色恐怖，又失去了与中共中央的联系。
1935年中共《八一宣言》（即《中国苏维埃政府、中国共产党为抗日救国告全体同胞书》）的公开发表，使上海的中共地下组织欣喜若狂，这才知道来自中共中央的信息。不过，中共中央尚未与上海的中共地下组织直接取得联。
1935年11月，一封署名“S3”的密信，终于从莫斯科辗转送到鲁迅手中。鲁迅许广平抄了一份，转交给茅盾，茅盾再转给周扬。于是，周扬、夏衍、胡乔木得知了来自莫斯科的指令。“S3”，亦即萧三，是“左联”驻苏代表，诗人，也是毛泽东青年时代的好友。
萧三的信中肯定了“左联”成立以来的所取得的巨大成绩，也指出存在关门主义倾向。
他提出：“在组织方面——取消左联，发宣言解散它，另外发起，组织一个广大的文学团体，极力争取公开的可能……”
不言而喻，“S3”的密信，并不仅仅代表他个人的意见。
中共上海地下组织同意“S3”的意见。于是，“文总”宣？解散，“左联”也随之解散，另行成立了各界救国会，以适应抗日救国的新形势。
中共成立了江苏省临时工作委员会（简称“江苏临委”），邓洁为书记，胡乔木为宣传部长，陈延庆为组织部长。那时，上海属江苏省。“江苏临委”领导着中共在上海的工作。
1936年4月下旬，一位重要人物从陕北极为秘密地来到上海。他会见了鲁迅，也与胡风接触，而周扬、夏衍、胡乔木等对于他的到来竟毫无所知。显然，由于中共上海地下组织跟中共中央失去联颇久，这位负重要使命而来的人物，对中共上海地下组织持谨慎态度。
陕北方面选派他前来上海，可以说是“最佳人选”：他原本就在上海从事地下工作，他曾担任中共“文委”书记兼中共江苏省委宣传部长，他与鲁迅也有着颇深的友谊。只是在1933年秋冬之间，他在上海四川北路（那时叫“北四川路”）被国民党特务盯住。他来到海宁路，那特务仍然紧盯，而那行人颇多，于是急中生智，突然回过头来跟特务打架，同时大呼“绑票、绑票”。特务措手不及，被路人围住，他趁机溜之大吉。不久，他奉命离开上海，秘密前往江西中央苏区，来到红都瑞金。后来，他参加了长征，到达延安……
此人便是冯雪峰。冯雪峰对于周扬他们的不信任态度，可从鲁迅1926年8月所写的着名论文《答徐懋庸并关于抗日统一战线问题》中看出。鲁迅写及“驶来了一辆汽车，从中跳出四条汉子：田汉、周起应，还有另两个，一律洋服，态度轩昂”。周起应即周扬，“另两个”即夏衍、阳翰笙。从此，周扬等四人有了“四条汉子”之称。虽说胡乔木不在“四条汉子”之列，不过，他也属于不被信任的范围。
在冯雪峰来到上海一个多月，周扬他们才从别人那风闻延安派来要员。他们通过各种渠道打听，得知来人乃是冯雪峰。周扬他们求见冯雪峰，冯雪峰终于答应。不过，彼此的关系仍处于紧张状态。
这时，胡乔木也与冯雪峰见了面。冯雪峰要求中共江苏临委暂停发展党员工作，必须纯洁党的组织。对于已经入党的党员，要做重新审查的工作。
在派出冯雪峰之际，中共中央又派出刘少奇前往天津，主持中共中央北方局工作，大力纠正“左”倾关门主义错误。北方局派人来沪，带来了北方局组织部长林枫、刘少奇的秘书的信，跟胡乔木取得了联系。不久，带来了刘少奇的文章、北方局的文件。这样，中共江苏临委总算结束了孤军作战的年月。
然而，中共江苏临委的一位委员，被国民党特务盯上了。这个委员与某女子相好，落入国民党特务手中。
特务们在跟踪这个委员的过程中，发现了中共江苏临委书记邓洁。于是，邓洁也被捕了。
中共江苏临委不得不迅速改组，由李凡夫担任书记。
胡乔木仍为临委成员，但他隐蔽起来，原本他住在福煦路（今金陵西路）福煦里，此时赶紧转移。
于是，上海新闸路的培明中学，来了一位新的教师。校长是盐城人，新教师是校长的同乡。新教师教英语课，看来还颇为在行。此人便是胡乔木。据估计，国民党特务可能会盯上他，党组织叮嘱他在外边少露面。正因为这样，诸如在上海闹得沸沸扬扬的营救“七君子”运动，胡乔木也没有参与。
终于，胡乔木接到冯雪峰的通知，要他离开上海，和李凡夫一起，前往延安。
据1992年10月3日新华社电讯《胡乔木同志生平》载：“胡乔木同志于1937年7月到达延安。”据方铭回忆，胡乔木离沪，是在1937年3、4月间，不是7月。胡乔木离沪时，方铭去送行，记得他穿一件夹大衣。考虑到上海北站的特务多，胡乔木和李凡夫特地前往上海远郊火车站——真如站上车。
据说，李凡夫后来曾笑谓胡乔木，临行前，冯雪峰曾叮嘱，一路上要“监视”胡乔木。
李凡夫的话，倒也不假。虽说在解放后，冯雪峰跟胡乔木关系很不错，不过，那时冯雪对胡乔木确实有着戒心，如同那时冯雪峰对待周扬他们不信任一样。
在胡乔木之前，邓洁获释出狱，先去了延安。
胡乔木从上海来到延安，是他一生中重要的一步。