Huber 损失的一种替代概率解释
机器学习
2020-11-20 v3 计算机视觉与模式识别
机器学习
摘要
Huber 损失是一种用于广泛回归任务的鲁棒损失函数。为利用 Huber 损失，需要选择一个控制从二次函数到绝对值函数过渡的参数。我们认为将 Huber 损失与 Huber 密度联系起来的标准概率解释未能为确定过渡点提供充分的直觉。因此，常常需要进行超参数搜索以确定合适的值。在这项工作中，我们提出 Huber 损失的另一种概率解释，它将最小化该损失与最小化 Laplace 分布之间的 Kullback-Leibler 散度的上界联系起来，其中一个分布表示真值中的噪声，另一个表示预测中的噪声。此外，我们表明 Laplace 分布的参数与 Huber 损失的过渡点直接相关。我们通过一个玩具问题证明，Huber 损失的最优过渡点与真值数据中的噪声分布密切相关。因此，我们的解释为通过近似数据中的噪声量来识别合适的超参数提供了一种直观方法，我们通过 Faster R-CNN 和 RetinaNet 目标检测器的案例研究和实验进行了演示。
引用
@article{arxiv.1911.02088,
title = {An Alternative Probabilistic Interpretation of the Huber Loss},
author = {Gregory P. Meyer},
journal= {arXiv preprint arXiv:1911.02088},
year = {2020}
}