ResearchTown: 人类科研社区模拟器

大型语言模型 (LLM) 在科学领域展现出惊人的潜力，但仍有一个根本性问题未被回答：我们能否用 LLM 模拟人类科研社区？解决这一问题可以加深对思想头脑风暴过程的理解，并激发自动发现新科学洞见的潜力。本文提出了 ResearchTown，一个用于科研社区模拟的多智能体框架。在该框架中，将人类科研社区简化为智能体-数据图，其中研究人员和论文分别表示为智能体类型和数据类型节点，并基于其合作关系相连。我们还引入了 TextGNN，一种基于文本的推理框架，将各种科研活动（如论文阅读、论文撰写和审稿）建模为统一的消息传递过程在智能体-数据图上。为了评估科研社区模拟的质量，我们提出了 ResearchBench，一个基于相似性的可扩展且客观的评估基准，使用节点掩码预测任务。我们的实验揭示了三个关键发现：(1) ResearchTown 能够提供协作科研活动（包括论文撰写和审稿）的真实模拟；(2) ResearchTown 能够在多个研究人员和多样化论文的情况下保持稳健的模拟；(3) ResearchTown 能够生成具有潜在激发创新研究方向的跨学科科研想法。