中文

取消即剖减:为生成性科学发现构建可验证基准

机器学习 2025-11-26 v4 人工智能

摘要

关于人工智能在科学中的作用的大胆宣称——从“AGI将治愈所有疾病”到“加速发现”的承诺——提出了一个核心的认识论问题:大型语言模型(LLM)是否真正生成新知识,还是仅仅重组记忆中的片段?我们提出将取消定义为剖减,以构建可验证的科学发现基准。其核心思想是系统性地移除目标结果及其遗忘闭包(支持引理、改写版本以及多跳推理),随后评估模型是否仅凭允许的公理和工具即可重新推导该结果。若成功,则表明超越记忆检索的生成能力;若失败,则暴露当前的局限性。与主流取消动机(隐私、版权或安全)不同,我们的框架将其重新定位为AI-for-Science的认识论探针。我们概述了数学和算法中的最小性试点,以说明可行性,并勾勒了相同方法后续可扩展至物理或化学等领域的可能性。这篇立场论文:我们的贡献是概念性和方法论性的,旨在刺激讨论,关于如何构建原则性的剖减测试以区分重构知识的模型与仅检索知识的模型,以及此类探针如何指导下一代AI-for-Science基准的发展。

关键词

引用

@article{arxiv.2508.17681,
  title  = {Unlearning as Ablation: Toward a Falsifiable Benchmark for Generative Scientific Discovery},
  author = {Robert Yang},
  journal= {arXiv preprint arXiv:2508.17681},
  year   = {2025}
}

备注

6 pages + appendix. Accepted to NeurIPS 2025 AI4Science Workshop