FutureGen:基于检索增强生成的科学论文学术未来工作生成方法
计算与语言
2025-09-05 v3 机器学习
摘要
科学论文学术未来工作部分通过识别当前研究的空白与局限来阐述潜在研究方向。该部分为寻找未探索领域的青年研究者以及寻找新项目或合作机会的资深研究者提供了宝贵资源。本研究从科学论文中生成未来工作建议。为丰富生成过程并获取更广泛的洞察、降低遗漏重要研究方向的概率,我们利用相关论文的上下文信息结合检索增强生成(RAG)方法。我们实验了多种集成到检索增强生成框架中的大语言模型(LLM)。我们引入了大语言模型反馈机制以提升生成内容的质量,并提出了大语言模型作为评判者的评估框架,用于鲁棒地评估新颖性、幻觉和可行性等关键方面。实验结果表明,结合大语言模型反馈机制的基于 GPT-4o mini 的检索增强生成方法在定性和定量评估中均优于其他方法。此外,我们进行了人工评估,以评估大语言模型作为提取器、生成器和反馈提供者的能力。
引用
@article{arxiv.2503.16561,
title = {FutureGen: A RAG-based Approach to Generate the Future Work of Scientific Article},
author = {Ibrahim Al Azher and Miftahul Jannat Mokarrama and Zhishuai Guo and Sagnik Ray Choudhury and Hamed Alhoori},
journal= {arXiv preprint arXiv:2503.16561},
year = {2025}
}
备注
12 pages, 6 figures, Accepted for publication at the Workshop on AI Principles in Science Communication (Ai4SC'25), held in conjunction with the IEEE eScience Conference 2025