使 AI 科学家能够识别创新：一种域无关的新颖性评估算法
人工智能
2025-10-01 v4 计算机与社会
摘要
在人工通用智能 (AGI) 的 pursuit 中，自动化生成和评估新颖的科学想法是 AI 驱动科学发现中的关键挑战。本文提出了相对邻近密度 (RND)，一种用于科学想法新颖性评估的域无关算法，克服了现有方法的局限性，通过比较想法的局部密度与其相邻邻居的密度。我们首先开发了一种可扩展的方法，用于创建无需专家标注的测试集，解决了新颖性评估中的根本挑战。使用这些测试集，我们展示了 RND 算法在计算机科学 (AUROC=0.820) 和生物医学研究 (AUROC=0.765) 领域达到最新性能。最显著的是，尽管 Sonnet-3.7 等 SOTA 模型和现有指标显示出域特定性能下降，RND 凭其域不变性质量在各域保持一致的准确性，在跨域评估中以 0.795 的性能显著优于所有基准 (0.597)。这些结果验证了 RND 作为自动化科学研究中新颖性评估的通用解决方案。
引用
@article{arxiv.2503.01508,
title = {Enabling AI Scientists to Recognize Innovation: A Domain-Agnostic Algorithm for Assessing Novelty},
author = {Yao Wang and Mingxuan Cui and Arthur Jiang and Jun Yan},
journal= {arXiv preprint arXiv:2503.01508},
year = {2025}
}