DANCE：面向数据感知与连续适应的资源高效神经网络架构搜索
机器学习
2025-08-29 v2 计算机视觉与模式识别
摘要
神经网络架构搜索 (NAS) 已成为自动化神经网络设计的强大方法。然而，现有 NAS 方法在实际部署中面临关键限制：架构在不同场景下缺乏适应性，每个部署上下文都需要高昂的独立搜索，且在不同平台上性能一致性仍具挑战。我们提出 DANCE (Dynamic Architectures with Neural Continuous Evolution)，将架构搜索重新表述为通过学习架构组件分布来进行的连续演化问题。DANCE 引入三个关键创新：实现平滑适应的连续架构分布、具备学习选择门的统一架构空间以实现高效抽样，以及用于有效部署优化的多阶段训练策略。广泛的实验在五个数据集上表明 DANCE 的有效性。我们的方法在准确率方面始终优于最先进的 NAS 方法，同时显著降低搜索成本。在不同计算约束下，DANCE 能保持稳健的性能，并能平滑地将架构适应到不同的硬件需求。代码和附录可在 https://github.com/Applied-Machine-Learning-Lab/DANCE 查看。
引用
@article{arxiv.2507.04671,
title = {DANCE: Resource-Efficient Neural Architecture Search with Data-Aware and Continuous Adaptation},
author = {Maolin Wang and Tianshuo Wei and Sheng Zhang and Ruocheng Guo and Wanyu Wang and Shanshan Ye and Lixin Zou and Xuetao Wei and Xiangyu Zhao},
journal= {arXiv preprint arXiv:2507.04671},
year = {2025}
}
备注
Accepted by IJCAI 2025