IMB-NAS：面向不平衡数据集的神经架构搜索
机器学习
2022-10-04 v1 计算机视觉与模式识别
摘要
类别不平衡是真实世界数据分布中普遍存在的现象。为克服其对训练准确分类器的不利影响，现有工作主要遵循三个方向：类别重平衡、信息迁移与表征学习。本文提出一种用于提升长尾数据集性能的新且互补的方向——通过神经架构搜索（NAS）优化骨干网络架构。我们发现，架构在平衡数据集上取得的准确率并不能指示其在不平衡数据集上的良好表现。这导致需要在长尾数据集上完整运行 NAS，而这可能迅速变得计算量难以承受。为缓解该计算负担，我们旨在将 NAS 超网络从平衡源数据集高效适配至不平衡目标数据集。在多种适配策略中，我们发现最有效的一种是使用重加权损失重新训练线性分类头，同时冻结在平衡源数据集上训练得到的骨干 NAS 超网络。我们在多个数据集上进行了充分实验，并为优化长尾数据集架构提供了具体见解。
引用
@article{arxiv.2210.00136,
title = {IMB-NAS: Neural Architecture Search for Imbalanced Datasets},
author = {Rahul Duggal and Shengyun Peng and Hao Zhou and Duen Horng Chau},
journal= {arXiv preprint arXiv:2210.00136},
year = {2022}
}