AgenticRS-EnsNAS：基于 Ensemble-Decoupled 的自演化架构搜索
机器学习
2026-03-23 v1
摘要
神经网络架构搜索 (NAS) 在工业生产系统中的部署面临根本性的验证瓶颈：验证单个候选架构 pi 需要评估已部署的 M 个模型的集成，导致每位候选架构的计算成本高达 O(M)。这一成本障碍严重限制了实际应用中架构迭代频率的提升，而在这些应用中，集成 (M=50-200) 是标准做法，以确保鲁棒性。本工作引入了 Ensemble-Decoupled Architecture Search 框架，利用集成理论从单学习器评估中预测系统级性能。我们建立了 Ensemble-Decoupled 理论，给出单一学习器在均匀性假设下实现单调集成改进的充分条件：若 rho(pi) < rho(pi_old) - (M / (M - 1)) * (Delta E(pi) / sigma^2(pi))，则候选架构 pi 的集成误差小于当前基线。其中，Delta E、rho 和 sigma^2 可从轻量级双学习器训练中估计。这一框架将架构搜索与完整集成训练解耦，将每位候选架构的搜索成本从 O(M) 降至 O(1)，而仅对经验证的获胜者维持 O(M) 的部署成本。我们统一了管道连续性中的解决方案策略：(1) 针对可解析的连续 pi（以 CTR 预测中的特征随机采样为例）的闭形式优化；(2) 针对不可解析的连续 pi 的受约束可微优化；(3) 针对离散 pi 的 LLM 驱动搜索及迭代单调接受。该框架揭示了两种正交的改进机制——基准多样性增益和准确率增益，为工业规模 NAS 提供可操作的设计原则。所有理论推导均严谨，详细证明 deferred至附录。全面实证验证将包含在本工作的期刊扩展版本中。
引用
@article{arxiv.2603.20014,
title = {AgenticRS-EnsNAS: Ensemble-Decoupled Self-Evolving Architecture Search},
author = {Yun Chen and Moyu Zhang and Jinxin Hu and Yu Zhang and Xiaoyi Zeng},
journal= {arXiv preprint arXiv:2603.20014},
year = {2026}
}