可靠机器学习的对称损失视角
机器学习
2023-06-07 v2 机器学习
摘要
在二分类中最小化经验风险时,用替代损失替换零一损失以使学习目标便于优化是常见做法。著名的二分类替代损失包括 logistic 损失、hinge 损失和 sigmoid 损失。已知替代损失的选择会高度影响训练分类器的性能,因此应谨慎选择。近来,满足某种对称条件(即对称损失)的替代损失在从含噪标签学习中展现了其效用。本文提供对称损失及其应用的概览。首先,我们回顾对称损失如何能在平衡错误率(BER)最小化和受试者工作特征曲线下面积(AUC)最大化中实现从含噪标签的鲁棒分类。然后,我们展示鲁棒 AUC 最大化方法如何能在仅从相关关键词与未标注文档学习的自然语言处理问题中获益。最后,我们讨论未来方向,包括对称损失在可靠机器学习中的潜在应用,以及能利用对称条件设计非对称损失,以此总结本文。
引用
@article{arxiv.2101.01366,
title = {A Symmetric Loss Perspective of Reliable Machine Learning},
author = {Nontawat Charoenphakdee and Jongyeong Lee and Masashi Sugiyama},
journal= {arXiv preprint arXiv:2101.01366},
year = {2023}
}
备注
Invited article preprint