AlphaGo式的模型架构发现
人工智能
2025-07-25 v1
摘要
尽管AI系统展示出指数级的能力提升，但AI研究本身的进展仍受限于人类认知能力的线性增长，制造了一个日益严峻的瓶颈。我们提出了ASI-Arch——首个实现人工超级智能用于AI研究(ASI4AI)的系统，在神经网络架构发现这一关键领域展现了自主性。ASI-Arch彻底打破了这一根本性限制，通过使AI能够自主进行架构创新。我们引入了从自动优化向自动创新范式的根本性转变。ASI-Arch能够在架构发现领域进行端到端的科学研究，自主假设新颖的架构概念，将其实现为可执行代码，进行训练和经验验证。ASI-Arch进行了1,773次自主实验，耗费20,000个GPU小时，最终发现了106个创新且达到最新技术水平(SOTA)的线性注意力架构。正如AlphaGo的第37着揭示了对人类玩家而言不可见的意外战略洞见，AI发现的架构展现出新兴的设计原则，系统性地超越了人类设计的基准，并阐明了以前未知的架构创新路径。关键的是，我们建立了科学发现本身的首个经验性尺度律——表明架构突破可以被计算方式放大，将研究进展从人类受限的过程转化为可计算放大的过程。我们对这些突破所启发的设计模式和自主研究能力进行了全面分析，为自我加速的AI系统奠定了蓝图。
引用
@article{arxiv.2507.18074,
title = {AlphaGo Moment for Model Architecture Discovery},
author = {Yixiu Liu and Yang Nan and Weixian Xu and Xiangkun Hu and Lyumanshan Ye and Zhen Qin and Pengfei Liu},
journal= {arXiv preprint arXiv:2507.18074},
year = {2025}
}