一种高效基于NAS的方法用于处理不平衡数据集

类别不平衡是现实数据分布中常见的问题，对训练准确分类器造成负面影响。传统方法可分为三类：类别再平衡、信息传递和表示学习。本文引入了一种新方法，通过神经网络结构搜索（NAS）优化 backbone 架构，以提升在长尾数据集上的性能。我们的研究表明，架构在平衡数据集上的准确率并不能可靠地预测其在不平衡数据集上的性能。这一发现使得必须在长尾数据集上执行完整的NAS运行，而这在计算上可能昂贵。为此，我们聚焦于现有工作，即IMB-NAS，它提出了一种高效地将在平衡源数据集上训练的NAS超网络适应到不平衡目标数据集的方法。本文详细描述了IMB-NAS的基本技术，包括NAS和架构迁移。在各种适应策略中，我们发现最有效的方法是在保持 backbone NAS超网络在平衡源数据集上训练不变的前提下，重新训练线性分类头并使用加权损失。最后，我们在不平衡CIFAR数据集上进行了一系列实验进行性能评估。我们的结论与IMB-NAS论文中所提出的结论一致。