异方差与非均衡深度学习中的自适应正则化
机器学习
2021-03-19 v2 机器学习
摘要
现实世界的大规模数据集是异方差且非均衡的——标签具有不同程度的不确定性，且标签分布呈长尾。异方差与非均衡因难以区分错标、模糊和稀有样本而对深度学习算法构成挑战。同时处理异方差与非均衡的研究尚不充分。我们提出了一种用于异方差数据集的依赖于数据的正则化技术，对输入空间的不同区域施加不同正则化。受一维非参数分类设定下最优正则化强度的理论推导启发，我们的方法对更高不确定性、更低密度区域的数据点施加更强的自适应正则化。我们在若干基准任务上测试了该方法，包括一个真实的异方差且非均衡的数据集WebVision。我们的实验证实了理论，并展现出相对于其他噪声鲁棒深度学习方法显著改进。
引用
@article{arxiv.2006.15766,
title = {Heteroskedastic and Imbalanced Deep Learning with Adaptive Regularization},
author = {Kaidi Cao and Yining Chen and Junwei Lu and Nikos Arechiga and Adrien Gaidon and Tengyu Ma},
journal= {arXiv preprint arXiv:2006.15766},
year = {2021}
}
备注
to appear in ICLR 2021