执行导向的机制解释研究评估：揭露“故事”与“科学”之间的差距
计算机与社会
2026-02-24 v1 人工智能
计算与语言
机器学习
摘要
跨学科的可重复性危机凸显了以论文为中心的评审体系在评估研究严谨性与可重复性方面的局限。AI 代理体系不断设计和生成大量研究产出，加剧了这些挑战。本文通过颠覆常规，发展 AI 代理作为研究评估者来应对可扩展性和严谨性挑战。我们提出首个基于执行的评估框架，通过检验代码和数据而非仅凭叙述性评论来验证研究。以机制解释研究为试验场，构建标准化研究产出，开发 MechEvalAgent——一个自动化评估框架，评估实验过程的连贯性、结果的可重复性以及发现的普遍性。我们表明该框架与人类评审员的一致性超过 80%，识别出大量方法论问题，发现 51 项人类评审遗漏的问题。我们的工作展示了 AI 代理在变革性研究评估中的潜力，为严谨的科学实践铺平了道路。
引用
@article{arxiv.2602.18458,
title = {The Story is Not the Science: Execution-Grounded Evaluation of Mechanistic Interpretability Research},
author = {Xiaoyan Bai and Alexander Baumgartner and Haojia Sun and Ari Holtzman and Chenhao Tan},
journal= {arXiv preprint arXiv:2602.18458},
year = {2026}
}
备注
Our code is available, see https://github.com/ChicagoHAI/MechEvalAgent/