平衡与否：一种针对长尾分布学习的简明有效方法
计算机视觉与模式识别
2020-03-11 v2
摘要
真实世界视觉数据常呈现长尾分布，其中某些“头部”类拥有大量样本，而“尾部”类仅含少量样本。这种不平衡分布给深度神经网络的学习带来巨大挑战，可归结为两难困境：一方面，我们倾向于增加尾部类样本的曝光，以避免头部类在分类器训练中过度主导；另一方面，对尾部类过采样使网络易于过拟合，因为头部类样本随之代表性不足。为化解该困境，本文提出一种简明有效的辅助学习方法。其核心思想是将网络拆分为分类器部分与特征提取器部分，并对各部分采用不同训练策略。具体而言，为提升对尾部类的感知，对分类器与特征提取器均采用类平衡采样方案。对于特征提取器，我们还引入一项辅助训练任务，即在常规随机采样方案下训练分类器。如此，特征提取器由两种采样策略联合训练，从而可利用全部训练数据并避免过拟合问题。除该基础辅助任务外，我们进一步探索了以自监督学习作为辅助任务的益处。在不使用任何花哨技巧的情况下，我们的模型取得了优于现有最优方案的性能。
引用
@article{arxiv.1912.04486,
title = {To Balance or Not to Balance: A Simple-yet-Effective Approach for Learning with Long-Tailed Distributions},
author = {Junjie Zhang and Lingqiao Liu and Peng Wang and Chunhua Shen},
journal= {arXiv preprint arXiv:1912.04486},
year = {2020}
}