具体工作中，也发生了一些缺点错误，造成了一些损失。这些缺点错误之所以发生，根本上是由于许多领导人员放松了在抗日战争期间和解放战争期间进行得很有成效的调查研究工作，满足于看纸上的报告，听口头的汇报……”
随着这《一封信》下发，全国掀起“调查研究热”。《红旗》杂志也在1961年第三、四期发表社论《大兴调查研究之风，一切从实际出发》。
此后，1961年3月下旬至5月下旬，胡乔木再度前往湖南农村调查研究。胡乔木女儿胡木英曾经回忆当时胡乔木在湖南调查研究的情形：
我是3月21日飞到长沙的，第二天上午，他就忙着与调查组的同志开会研究，按照中央工作会议精神，如何做好下一步调研工作。当时他的调查组成员中有于光远、王力、胡绩伟、张超、戴邦等，他的秘书商恺同志也参加调查组的工作。
在那些日子里，父亲在长沙、韶山、湘乡一带来回跑，参加了大大小小的各类座谈会、社员大会，又去社员家庭调查了解，听取各级干部的汇报、情况反映，并看了调查组同志们写的各种调查材料。为了能更多地听到社员、干部的真话，也让身边的工作人员得到锻炼的机会，他组织安排了警卫、保健医生等去做调查工作，给他们调查题目，并要求他们把调查结果向他汇报。我就经常被父亲安排跟着医生，警卫深入社员家庭调查。
记得有一回我们在调查时，刚从一家社员家里出来，遇到了一位从宁乡村讨饭到湘潭的姑娘，看她皮包骨头的瘦小样子，个头像是十岁的孩子。经我们询问知道，她十七岁了，父母都已饿死了，只剩下她一人；没饭吃，去捡野菜，队里干部不准捡，还把她的篮子踢坏，打了她，她没法子，只好逃出来讨饭。我们去调查的这家社员拿出一碗饭菜给她吃，她狼吞虎咽地吃完就走了。当时我们也没有再问她去哪里，今后怎么办。回招待所吃晚饭时我向父亲谈起了这件事，父亲和调查组的同志们都责怪我们没有处理好这件事，没有帮她找个安身的地方。只了解了问题，却没有解决问题。这件事对我震动很大，体会到父亲和他的同志们真正为老百姓设身处地的着想，正是基于为老百姓谋幸福的动机才能支持和支配着他们辛勤地工作而毫无怨言。还有一回，我和医生、警卫等几个人去一个小队调查，回来的路上照了几张相。父亲知道后批评了我，说：不要把下乡当作旅游，要认真学习调查工作，了解老百姓的疾苦。
电子书 分享网站
离开了毛泽东身边（2）
回过头来想想，父亲真正是为了老百姓才那样不辞辛苦，只想着如何尽快纠正原来“左”的政策，使老百姓早日从困苦中解脱出来。他对老百姓的苦难特别痛心。有一回，我们在韶山招待所门口遇到一个从湘乡来卖布票的年青人，他说因没钱治病，只好卖布票换几个钱。看他面黄肌瘦的样子，父亲很快从兜里掏出了五块钱，又耐心告诉他卖布票是犯法的。这人大概看我父亲面善吧，又说他已经好几天没吃过米饭了，于是父亲又请招待所的服务员拿出几个馒头和小菜给他吃。他几乎嚼都不嚼就吞下去了。吃完后，父亲又详细询问他的情况，最后让服务员写了一封信给他的公社领导，请公社帮助安置解决。这封信交给了省里来参加调查工作的时任省档案局局长的毛华初同志，由他带给湘乡县委。
后来从长沙到武汉做工业调查，曾召开两次工人座谈会，一次在武汉钢铁厂，一次在重型机械厂。参加座谈的工人都很激动，发言很踊跃，以至原定的一个钟头时间超过很多。座谈都安排在白班下班后，这中间有的工人因饥饿而谈不下去了，父亲赶紧请厂领导拿出馒头等请他们边吃边谈，而他自己则坚持到所有参加座谈会的工人把要说的话讲完了，所要了解的情况全部了解之后才结束座谈。结果晚饭拖到九点多才吃。
我从这些小事中深感父亲对普通工人、农民的理解、同情和热爱。我在学校读了十几年书，算个小知识分子吧，可我接触工人、农民时就不像父亲那样沟通，总像有层隔膜，也觉得没什么好谈的。可是父亲这样的大知识分子和他们谈起来，接触起来却一点困难也没有，问长问短，似乎有说不完的话。
当时，宁乡有饿死人的情况，还比较严重。后来调查组听说湘乡也有饿死人的情况，干部们都不敢向上反映。调查组向父亲汇报了，他马上要调查组的同志去湘乡具体了解，随后父亲决定改变原计划，也到离湘乡县城不远的一个大队去亲自调查。那是4月13日，那次看到的情景，我真是永生难忘。一个个骨瘦如柴、面如菜色的大人、小孩，木呆呆地站在那里，不是亲眼所见，从文字描述中绝对无法想像出来。县里的领导人汇报工作时，居然说不知道那里有饿死人的事。他们看到我父亲那按捺不住的不满神色时，才赶紧检讨工作没做好。父亲也真生气了，狠狠批评了他们，并要求他们尽快想办法解决，不要再发生饿死人的情况。我们那天是早上出发的，回到韶山招待所已是夜里十一点了。
正巧在这时候，毛主席也来湖南视察了。父亲得知这个消息后，立即写了一封长信给毛主席。除谈到了在韶山公社调查解决食堂问题的情况，还特别写到湘乡饿死人的情况。……这封信他是请回长沙开会的毛华初同志带给毛主席的。毛主席收到信后第二天就给湖南省书记张平化同志作了批示，要他阅后将来信及附文四件“印发给我们的三级干部会议各同志，予以讨论”。毛主席并于当日下午亲自听取了毛华初同志对农村调查情况的真实汇报，他肯定了韶山公社可先行试点解散食堂。毛主席还提出要注意解散食堂后会产生的问题，并一定要搞好生产。这样父亲与韶山公社党委认真研究解散食堂的步骤及措施更加快了实施，全公社的食堂几乎都全部解散了。这一举措深得韶山百姓的欢迎和称赞。
女儿胡木英回忆文章中提到的胡乔木写给毛泽东的长信，是胡乔木写于1961年4月14日的信。胡乔木在信中，如实地向毛泽东反映了湖南农村饿死人的严重情况：
昨天，我和王力同志、毛华初同志，省农业厅贺炳贤同志等人去了一次湘乡县委，我们原听说临近韶山的东郊公社、现龙洞公社死人的情况（从1958年10月到1961年3月，三个大队死707人，占现有人口百分之十三点五），拟去该处调查，结果因道路不便，临时到原东郊公社现陈庚公社的楠乡大队、七星大队、水底大队、石匠大队的几个生产队看了一下，发现这几个大队的情况也很严重。楠乡大队、石匠大队三年来死亡率都在20％左右，据县委说，全县三年约饿死三万人，去年约二万人，而以去年年底最为严重，全县病人在去年年底达七万人，现已减到万余，但我们去的地方，有些生产队的病情尚未停止……
离开了毛泽东身边（3）
此后不久，中共中央于1961年5月21日至6月12日，在北京召开会议，对《农村人民公社工作条例（草案）》进行修改。
会议开幕时，胡乔木来了。没几天，胡乔木请病假，离开了会场。他的神经衰弱症加剧了，无法正常工作。
女儿胡木英回忆说：
他参加中央工作会议后，神经衰弱已严重到无法拿笔写文章的地步，他被迫放下一切工作彻底休息。于是他给毛主席写了封信，请假去休息一段时间。
1961年8月17日，胡乔木给毛泽东写了一信，说明病情，要求请长期病假。一星期之后，正在庐山上主持中共中央工作会议的毛泽东回复一函，表示同意——
乔木同志：
8月17日信收到，甚念。你须长期休养，不计时日，以愈为度。曹操诗云：盈缩之期，不独在天。养怡之福，可以永年。此诗宜读。你似以迁地疗养为宜，随气候转移，从事游山玩水，专看闲书，不看正书，也不管时事，如此可能好得快些。作一、二、三年休养打算，不要只作几个月打算。如果急于工作，恐又将复发。你的病近似陈云、林彪、康生诸同志，林、康因长期休养，病已好了，陈病亦有进步，可以效法。问谷羽好。如你转地疗养，谷宜随去。以上建议，请你们二人商量酌定。我身心尚好，顺告，勿念。
毛泽东
1961年8月25日
从此，胡乔木离开了他的工作岗位，虽说他名义上还是毛泽东的政治秘书，实际上他已不在毛泽东身边工作。政治秘书工作，由陈伯达一人承担。陈伯达权重一时，以致“文革”爆发时出任“中央文革小组”组长。
胡乔木这一病，不止病“一、二、三年”——一直病到“文革”爆发。
胡乔木患神经衰弱症，这是确实的。不过，他一病就病得那么久，内中有没有政治因素，这就不得而知了。
毛泽东的信中，提及了陈云、林彪、康生的病况。内中，康生、林彪的病，明显地带有“政治病”的色彩……
胡乔木多年担任毛泽东秘书，曾经精辟地指出：“秘书要具有政治家的视野”。
他说：“秘书一要正确观察、分析、判断形势，尤其是政治形势；二要根据形势的正确判断，从宏观上提出相应的微观政策。”
这几句话，可以说是胡乔木多年担任毛泽东秘书的深刻体会。
。。