无偏风险估计器可能产生误导：互补标签学习的一个案例研究
机器学习
2020-08-25 v3 机器学习
摘要
在弱监督学习中，无偏风险估计器（URE）是在训练数据与测试数据来自不同分布时训练分类器的有力工具。然而，当模型如深度网络般复杂时，URE 在许多问题设定中会导致过拟合。本文通过研究一种称为互补标签学习的弱监督问题，探讨此类过拟合的原因。我们认为梯度估计的质量在风险最小化中更为关键。理论上，我们证明 URE 给出了无偏梯度估计器（UGE）。但在实践中，UGE 可能遭受巨大方差，导致在最小化过程中经验梯度通常远离真实梯度。为此，我们提出一种新颖的替代互补损失（SCL）框架，以零偏置换取方差的降低，并使经验梯度在方向上与真实梯度更为一致。得益于该特性，SCL 成功缓解了过拟合问题并改进了基于 URE 的方法。
引用
@article{arxiv.2007.02235,
title = {Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels},
author = {Yu-Ting Chou and Gang Niu and Hsuan-Tien Lin and Masashi Sugiyama},
journal= {arXiv preprint arXiv:2007.02235},
year = {2020}
}
备注
Accepted at ICML 2020