DARPA 大机制计划 MITRE 评估最终报告
人工智能
2022-11-09 v1
摘要
本报告介绍了为 DARPA Big Mechanism 计划开发的评估方法，该计划旨在开发能够阅读研究论文、将信息整合到癌症机制计算机模型中并提出新假设的计算机系统。我们采用迭代、渐进的方法来评估该计划的三个阶段。在第一阶段，我们评估了系统和人类团队“结合模型阅读”以从生物医学文献中捕获机制信息的能力，并将其与来自专家策划的生物学数据库的信息相整合。在第二阶段，我们评估了系统将信息片段组装成机制模型的能力。第三阶段评估的重点是系统基于由 Big Mechanism 过程（主要自动）组装的模型对实验观察结果提供解释的能力。每个阶段的评估都建立在早期评估的基础之上，并指导开发者为新阶段创建能力。报告描述了我们的方法，包括诸如参考集（一个仅限于每篇论文主要发现的策划数据集）以在缺乏黄金标准的情况下评估系统提取机制发现的准确性，以及一种评估基于模型的实验数据解释的方法等创新。评估结果及支持材料包含在附录中。
引用
@article{arxiv.2211.03943,
title = {Final Report on MITRE Evaluations for the DARPA Big Mechanism Program},
author = {Matthew Peterson and Tonia Korves and Christopher Garay and Robyn Kozierok and Lynette Hirschman},
journal= {arXiv preprint arXiv:2211.03943},
year = {2022}
}
备注
46 pages, 8 figures