AdaXpert：面向增长数据的神经架构自适应
机器学习
2021-07-02 v1 计算机视觉与模式识别
摘要
在真实世界应用中，数据常以增长方式到来，数据量与类别数可能动态增加。这带来一个关键学习挑战：给定增长的数据量或类别数，必须即时调整神经模型容量以获得理想性能。现有方法要么忽略数据的增长特性，要么试图针对给定数据集独立搜索最优架构，因而无法对变化数据及时调节架构。为此，我们提出一种神经架构自适应方法，即自适应专家（AdaXpert），以在增长数据上高效调整先前的架构。具体而言，我们引入架构调节器，基于先前架构与当前和先前数据分布间的差异程度，为每个数据快照生成合适架构。此外，我们提出自适应条件以确定调整的必要性，从而避免不必要且耗时的调整。在两种增长场景（数据量与类别数增加）上的大量实验证明了所提方法的有效性。
引用
@article{arxiv.2107.00254,
title = {AdaXpert: Adapting Neural Architecture for Growing Data},
author = {Shuaicheng Niu and Jiaxiang Wu and Guanghui Xu and Yifan Zhang and Yong Guo and Peilin Zhao and Peng Wang and Mingkui Tan},
journal= {arXiv preprint arXiv:2107.00254},
year = {2021}
}
备注
accepted by ICML 2021