FlyAOC：评估 Drosophila 科学知识库的智能体本体策源
人工智能
2026-02-11 v1 计算与语言
信息检索
摘要
科学知识库通过将来自 primary 文献的发现编入结构化、可查询格式，从而加速发现，服务于人类研究人员和新兴的人工智能系统。维持这些资源需要专家策源者搜索相关论文、跨文档协调证据并产生基于本体的注释——这一工作流程现有基准（聚焦于命名实体识别或关系抽取等孤立子任务）并未涵盖。我们提出 FlyBench 来评估 AI 智能体从科学文献中进行 end-to-end 本体策源。仅凭基因符号，智能体必须搜索 16,898 篇全文论文的数据库，以产生结构化注释：描述功能、表达模式及历史同义词的 Gene Ontology 术语，将数十年的命名系统链接在一起。该基准包括 7,397 项专家策源的注释，覆盖 100 个基因，源自 FlyBase，即 Drosophila（果蝇）知识库。我们评估了四种基线智能体架构：记忆、固定管道、单智能体和多智能体。我们发现架构选择对性能影响显著，多智能体设计在简单方案之外取得优势，但扩大 backbone 模型规模却产生了报酬递减。所有基线仍留有显著提升空间。我们的分析揭示了若干发现以指导未来发展——例如，智能体主要使用检索来确认参数化知识，而非发现新信息。我们希望 FlyBench 将推动检索增强的科学推理进程，这一能力在科学领域具有广泛应用前景。
关键词
引用
@article{arxiv.2602.09163,
title = {FlyAOC: Evaluating Agentic Ontology Curation of Drosophila Scientific Knowledge Bases},
author = {Xingjian Zhang and Sophia Moylan and Ziyang Xiong and Qiaozhu Mei and Yichen Luo and Jiaqi W. Ma},
journal= {arXiv preprint arXiv:2602.09163},
year = {2026}
}