过参数化下的标签不平衡与组敏感分类
机器学习
2021-11-09 v3 机器学习
摘要
标签不平衡与组敏感分类的目标是优化平衡误差和机会平等等相关指标。经典方法（如加权交叉熵）在将深度网络训练至训练终期（TPT），即训练超过零训练误差时失效。该观察促使近期大量启发式替代方法的研究，其直观机制为促进少数类更大间隔。与以往启发式不同，我们遵循原则性分析，解释不同损失调整如何影响间隔。首先，我们证明对于所有在 TPT 中训练的线性分类器，有必要引入乘性而非加性的 logit 调整，以使类间间隔恰当改变。为证明此点，我们发现乘性 CE 修正与代价敏感支持向量机之间的联系。或许有违直觉的是，我们也发现训练开始时相同的乘性权重实际上会损害少数类。因此，尽管加性调整在 TPT 中无效，我们证明其可通过抵消乘性权重的初始负面效应来加速收敛。受这些发现驱动，我们提出向量缩放（VS）损失，将现有技术作为特例涵盖。此外，我们引入 VS 损失到组敏感分类的自然扩展，从而以统一方式处理两类常见不平衡（标签/组）。重要的是，我们在最先进数据集上的实验与理论见解完全一致，并确认了算法的优越性能。最后，对不平衡高斯混合数据，我们进行了泛化分析，揭示了平衡/标准误差与机会平等之间的权衡。
引用
@article{arxiv.2103.01550,
title = {Label-Imbalanced and Group-Sensitive Classification under Overparameterization},
author = {Ganesh Ramachandra Kini and Orestis Paraskevas and Samet Oymak and Christos Thrampoulidis},
journal= {arXiv preprint arXiv:2103.01550},
year = {2021}
}