中国共产党成立后较长一段时间，由于缺乏固定的办公场所和专业的文件管理人员，中央一时无暇关注文件管理事宜，文件一直处于分散状态，自然散存于各级负责人或秘书手中，存放场所常为他们的住所、秘密联络站或租用的隐蔽房屋。
1926年7月，中共第四届中央执行委员会第三次扩大会议通过了《组织问题议决案》，要求中央“应增设中央秘书处，以总揽中央各种技术工作”。据此，中央秘书处成立，内设文书、会计和交通三科，文件工作由文书科负责，中央文件进入分散保管与部分集中保管并存的管理阶段。1927年10月，中央秘书处由武汉迁回上海后，文书科改为文件保管处。此后，中央文件大多集中存放在文件保管处。
1930年9月，党的六届三中全会后文件保管处撤销，中央秘书处的张唯一在法租界恺自迩路（今金陵中路）顺昌里找到一处安全的洋房，将原文件保管处积存的20余箱文件安置其中，党的历史上第一座秘密档案库就此建立，党内习惯称为“中央文库”，也形象地叫作“一号机密”。
1931年2月，时任中央政治局常委的周恩来到秘书处视察工作，发现未经整理的文件与报刊、图书、宣传品混杂堆放，其中不乏机密要件。周恩来敏锐地意识到，在复杂严酷的斗争环境中，文件管理混乱且无章可循的状况会给革命事业带来巨大风险，随即指示由瞿秋白起草一个文件处理办法。很快，了解苏联文件处置规程的瞿秋白制定出《文件处置办法》。《文件处置办法》制定后，周恩来即在上面批示“试办下，看可否便当”。
1942年7月，年仅23岁的陈来生接过守护中央文库的重任，是中央文库历任保管者中年龄最小、守护时间最长的一位。陈来生，今上海南汇人，1919年出生，1938年在慈愿难民所加入中国共产党。几年间，在党组织的安排下，他历经地下交通和情报工作等磨砺，已经成长为具备坚强党性和灵活对敌经验的“老地下党员”。
陈来生在长达7年的时间里，根据保密原则，中央文库除了定期转移，又因知情同志被捕和房东改造住宅等原因数次搬迁。为了将中央文库转移到新址，陈来生想出“小鱼钻网眼”的转移办法。他动员全家人参与，分头扮作走街串巷的小商贩，利用竹篮、面粉袋等简陋工具，每人每次仅携带几份文件，夹在货品中穿行小路和隐蔽弄堂，蚂蚁搬家式地完成迁移。
1949年上海解放，陈来生将中央文库送交上海市委组织部后，华东局办公厅请示中央办公厅如何处理这批档案文献。中共中央办公厅复电说，大批党的历史文件十分宝贵，请指定几个可靠的同志负责清理登记、装箱，并派专人护送，全部送中央秘书处。1950年2月，中共中央华东局秘书处资料室副主任罗文等同志将中央文库全部档案护送交中共中央秘书处，后入藏中央档案馆。
