二分类与回归中损失函数的分析
机器学习
2023-01-30 v2 机器学习
摘要
本文探讨了基于间隔(margin)的损失函数与二分类及回归应用中的一致性之间的联系。研究表明，一大类用于二分类/回归的基于间隔的损失函数所估计的得分等价于由偶函数加权的对数似然得分。给出了相容(一致)损失函数的一个简单刻画，从而可以对不同损失(包括指数损失、逻辑损失等)进行直接比较。该刻画被用于构造逻辑模型的一种新的Huber型损失函数。推导了间隔与标准化逻辑回归残差之间的简单关系，表明所有基于间隔的损失均可视为标准化逻辑回归残差平方的损失函数。该关系为指数损失和逻辑损失提供了新的直接解释，并有助于理解为何指数损失对离群点敏感。特别地，证明了最小化经验指数损失等价于最小化标准化逻辑回归残差平方和。该关系也为AdaBoost算法提供了新的见解。
引用
@article{arxiv.2301.07638,
title = {An Analysis of Loss Functions for Binary Classification and Regression},
author = {Jeffrey Buzas},
journal= {arXiv preprint arXiv:2301.07638},
year = {2023}
}