AVO：面向自主进化搜索的智能体变分算子
机器学习
2026-03-26 v1
摘要
智能体变分算子（AVO）是一类新的演化变分算子，旨在取代经典进化搜索中固定的变异、交叉以及手工设计的启发式方法，引入自主编码智能体。与将语言模型局限于特定管道内的候选生成不同，AVO 将变分过程实例化为一个自我导向的智能体循环，可咨询当前族谱、领域特定知识库以及执行反馈，来提出、修复、批判性地评估并验证实现编辑。我们在注意力机制——即AI中最激进优化的内核目标之一——上对AVO进行评估，测试于NVIDIA Blackwell（B200）GPU上。经过7天的连续自主进化后，AVO在多头注意力上发现的内核，在评估的各种配置下，相较cuDNN提升最高可达3.5%，相较FlashAttention-4提升最高可达10.5%。发现的优化措施能够顺利迁移到分组查询注意力（grouped-query attention），仅需额外30分钟的自主适应，即可相较cuDNN提升最高7.0%，相较FlashAttention-4提升最高9.3%。这些结果表明，智能体变分算子超越了以往的LLM-in-the-loop进化管道，将智能体从候选生成器提升为变分算子，并且能够发现能够超越当今最先进GPU硬件上专家工程注意力实现的性能关键微架构优化。
引用
@article{arxiv.2603.24517,
title = {AVO: Agentic Variation Operators for Autonomous Evolutionary Search},
author = {Terry Chen and Zhifan Ye and Bing Xu and Zihao Ye and Timmy Liu and Ali Hassani and Tianqi Chen and Andrew Kerr and Haicheng Wu and Yang Xu and Yu-Jung Chen and Hanfeng Chen and Aditya Kane and Ronny Krashinsky and Ming-Yu Liu and Vinod Grover and Luis Ceze and Roger Bringmann and John Tran and Wei Liu and Fung Xie and Michael Lightstone and Humphrey Shi},
journal= {arXiv preprint arXiv:2603.24517},
year = {2026}
}