多类分类的标签分布鲁棒损失：一致性、鲁棒性与自适应性
机器学习
2023-06-29 v4
摘要
我们研究一类称为标签分布鲁棒（LDR）损失的多类分类损失函数，其从分布鲁棒优化（DRO）视角构建，其中给定标签信息中的不确定性通过取分布权重的最坏情形来建模与捕捉。该视角的益处有多方面：（i）它提供统一框架解释经典交叉熵（CE）损失与SVM损失及其变体；（ii）它包含一个对应于温度缩放CE损失的特殊族，该损失被广泛采用却鲜被理解；（iii）它使我们能在实例层面实现对标签信息不确定度的自适应性。我们的贡献包括：（1）我们通过建立LDR损失对多类分类的top-（）一致性，以及“top-一致且对称鲁棒的损失无法同时对全部 实现top-一致性”这一否定结果，研究了一致性与鲁棒性；（2）我们提出一种新的自适应LDR损失，可自动将个体化温度参数适配于每个实例类标签的噪声程度；（3）我们在6种带噪标签与1种干净设置下的7个基准数据集上，针对13种损失函数，以及一个真实世界带噪数据集，展示了所提自适应LDR损失的稳定且具有竞争力的性能。代码已开源：\url{https://github.com/Optimization-AI/ICML2023_LDR}。
引用
@article{arxiv.2112.14869,
title = {Label Distributionally Robust Losses for Multi-class Classification: Consistency, Robustness and Adaptivity},
author = {Dixian Zhu and Yiming Ying and Tianbao Yang},
journal= {arXiv preprint arXiv:2112.14869},
year = {2023}
}
备注
To appear in ICML2023; 37 pages