ELF：一种面向长尾分类的早期退出框架
机器学习
2020-09-15 v2 计算机视觉与模式识别
机器学习
摘要
自然世界常遵循长尾数据分布，其中仅少数类占据了大部分样本。这种长尾导致分类器对多数类过拟合。为缓解此问题，已有方案通常采用类再平衡策略，如数据重采样与损失重塑。然而，由于将类内每个样本同等对待，这些方法未能考虑样本难度这一重要概念，即每个类内某些样本比其他样本更易分类。为将难度概念引入学习过程，我们提出早期退出框架（ELF）。在训练中，ELF通过学习经附加于骨干网络的辅助分支早期退出简单样本。这带来双重益处——（1）神经网络愈发关注困难样本，因其对整体网络损失贡献更大；（2）释放额外模型容量以区分困难样本。在ImageNet LT与iNaturalist'18两个大规模数据集上的实验结果表明，ELF可将最先进准确率提升逾3%。同时还附带减少至多20%推理时间FLOPS的额外收益。ELF与已有工作互补，可自然集成多种现有方法以应对长尾分布挑战。
引用
@article{arxiv.2006.11979,
title = {ELF: An Early-Exiting Framework for Long-Tailed Classification},
author = {Rahul Duggal and Scott Freitas and Sunny Dhamnani and Duen Horng Chau and Jimeng Sun},
journal= {arXiv preprint arXiv:2006.11979},
year = {2020}
}