用数据增强研究构想：社会科学中的实证研究

大型语言模型（LLM）的最新进展显示出在生成新颖研究构想方面的巨大潜力，然而此类构想往往在可行性和有效性上存在困难。在本文中，我们研究了在构想过程中用相关数据增强 LLM 是否能提高构想质量。我们的框架在两个阶段整合数据：(1) 在构想生成期间纳入元数据，以引导模型生成更可行的概念；(2) 在构想选择期间引入自动初步验证步骤，以评估构想中假设的经验合理性。我们在社会科学领域评估了我们的方法，特别关注气候谈判主题。专家评估表明，元数据将生成构想的可行性提高了 20%，而自动验证将所选构想的整体质量提高了 7%。除了评估 LLM 生成构想的质量外，我们还进行了一项人类研究，以检验这些经过相关数据和初步验证增强的构想是否能启发研究人员自身的构想。参与者报告称，LLM 生成的构想和验证非常有用，并且他们在这种支持下提出的构想被证明比无辅助提出的构想质量更高。我们的发现突出了数据增强研究构想的潜力，并强调了 LLM 辅助构想在真实学术环境中的实用价值。