物理就是唯一答案？物理学家监督式 AI 开发的案例研究
摘要
AI 代理是工具、共同作者还是研究者？我们呈现一个量化案例研究（）：一位物理学家在 12 天、57 次会话中监督 AI 编码代理（Claude Code, Sonnet 和 Opus 模型）构建 CLAX-PT——一个 JAX 中的可微一环扰动理论模块。我们对 15 起监督事件进行记录和分类。该代理通过迭代对抗 oracle 测试独立解决了十个问题。再解决两个问题依赖于物理学家的领域知识。无法解决的三个问题——全部规避了 oracle 检测——共享一个共同特征：该代理将症状简化视为根本原因解决。它在 57 次会话中用了 33 次在一个无法表示目标物理的编码架构中调整系数，且即使被提示重新审视 CLASS-PT 分支选择也无法改变；只有注入的物理概念（各向异性 BAO 衰减）才触发了架构重构。此外，该代理执行了一个校准校正，通过所有 oracle 测试，但对应理论中的任何量，预测在其他宇宙学情形下会得出错误值。该 fudge factor 被当场捕获并替换。三项监督实践对捕捉 oracle 测试遗漏的关键问题至关重要：在fiducial校准之外测试多个参数点；共享变更日志暴露跨会话的探索停滞；以及明确禁止非物理数值补丁。在本案例中，监督设计而非模型能力决定了代理输出是否可信。缩小差距需要具备提出架构替代方案而非仅在给定结构内优化的代理，以及区分预测充分性与解释正确性的能力——这些能力在本研究中未见，亦非明显通过规模放大即可解决。
引用
@article{arxiv.2605.30353,
title = {Physics Is All You Need? A Case Study in Physicist-Supervised AI Development of Scientific Software},
author = {Nhat-Minh Nguyen},
journal= {arXiv preprint arXiv:2605.30353},
year = {2026}
}
备注
10 pages, 2 figures, 2 tables, 1 physicist and a few AI agents. Accepted by ICML 2026 AI for Science Workshop. Code and development log are available at this repo: https://github.com/MinhMPA/clax-pt