面向鲁棒可微架构搜索的自适应通道分配
计算机视觉与模式识别
2024-12-24 v2 人工智能
摘要
可微架构搜索(Differentiable ARchiTecture Search, DARTS)因其简洁性及效率的显著提升而备受关注。然而，当训练轮数变大时，跳跃连接的过度累积使其稳定性弱且鲁棒性低，从而限制了其实用性。许多工作试图通过指标或人工设计来限制跳跃连接的累积。但这些方法易受人类先验与超参数的影响。本工作中，我们提出一种更精细且直接的途径：基于如下悖论——跳跃连接本为保证极深网络的性能而提出，而可微架构搜索搜索阶段的网络实则很浅——我们不再于搜索阶段显式搜索跳跃连接。相反，通过引入通道重要性排序与通道分配策略，跳跃连接在评估阶段被隐式搜索并自动填补不重要的通道。我们的方法称为自适应通道分配(Adaptive Channel Allocation, ACA)策略，是一种面向可微架构搜索的通用方法，无需引入人类先验、指标或超参数即可普遍适用于DARTS变体。在各数据集与DARTS变体上的大量实验验证，ACA策略在提升鲁棒性及处理训练轮数变大时的崩溃问题上，是现有方法中最为有效的。
引用
@article{arxiv.2204.04681,
title = {Adaptive Channel Allocation for Robust Differentiable Architecture Search},
author = {Chao Li and Jia Ning and Han Hu and Kun He},
journal= {arXiv preprint arXiv:2204.04681},
year = {2024}
}
备注
Accepted by TNNLS