链式思想：通过大语言模型代理开发新想法革新科研
人工智能
2024-10-31 v5 计算与语言
摘要
有效的研究构思是科学研究中的关键步骤。然而，随着科学文献的指数级增长，研究人员面临保持最新进展并识别有意义研究方向的挑战。近期大语言模型（LLM）的发展为自动生成新研究想法提供了可行之路。然而，现有方法要么简单地提示LLM，要么直接将LLM暴露于大量文献而不指示有用信息。致力于人类研究者研究过程的启发，我们提出了链式思想（Chain-of-Ideas, CoI）代理——一种组织相关文献结构以有效映射研究领域中渐进发展的LLM代理。这种组织方式有助于LLM捕捉当前的研究进展，从而提升其构思能力。此外，我们提出了Idea Arena（想法竞技场），一种可以从不同角度全面评估不同方法的想法生成评估协议，贴合人类研究者的偏好。实验结果表明，CoI代理持续优于其他方法，在研究构思方面表现出与人类相当的质量。此外，我们的CoI代理具有成本效益高的特点，仅需0.50美元即可生成一个候选想法及其对应的实验设计。
引用
@article{arxiv.2410.13185,
title = {Chain of Ideas: Revolutionizing Research Via Novel Idea Development with LLM Agents},
author = {Long Li and Weiwen Xu and Jiayan Guo and Ruochen Zhao and Xingxuan Li and Yuqian Yuan and Boqiang Zhang and Yuming Jiang and Yifei Xin and Ronghao Dang and Deli Zhao and Yu Rong and Tian Feng and Lidong Bing},
journal= {arXiv preprint arXiv:2410.13185},
year = {2024}
}
备注
10 pages,5 figures, conference