用于标签噪声下学习的 Fisher-Rao 损失
机器学习
2024-05-15 v2 信息论
math.IT
摘要
通过经验风险最小化进行学习时，选择合适的损失函数至关重要。在许多实际情形中，用于训练分类器的数据集可能含有错误标签，这促使人们关注本身对标签噪声具有鲁棒性的损失函数。本文研究 Fisher-Rao 损失函数，其源于离散分布统计流形中的 Fisher-Rao 距离。我们推导了标签噪声存在时性能退化的上界，并分析了该损失的学习速度。与其他常用损失比较，我们认为 Fisher-Rao 损失在鲁棒性与训练动态间提供了自然权衡。基于合成与 MNIST 数据集的数值实验说明了该性能。
引用
@article{arxiv.2210.16401,
title = {The Fisher-Rao Loss for Learning under Label Noise},
author = {Henrique K. Miyamoto and Fábio C. C. Meneghetti and Sueli I. R. Costa},
journal= {arXiv preprint arXiv:2210.16401},
year = {2024}
}
备注
20 pages, 5 figures, minor improvements. Accepted for publication in Information Geometry