批量逆方差加权：深度异方差回归
机器学习
2021-07-12 v1 人工智能
机器学习
摘要
异方差回归是一类监督学习任务，其中每个标签均受来自不同分布的噪声影响。该噪声可由标注过程引起，并因违背独立同分布假设而对学习算法性能产生负面影响。然而在许多情形下，标注过程能够估计每个标签对应分布的方差，此方差可作为附加信息以减轻该影响。我们基于Gauss-Markov定理，将逆方差加权均方误差应用于神经网络参数优化。我们提出批量逆方差（Batch Inverse-Variance, BIV）损失函数，其对近真值样本具有鲁棒性，并允许控制有效学习率。实验结果表明，在两种含噪数据集上，相较于L2损失、逆方差加权及基于滤波的基线，BIV显著提升了网络性能。
引用
@article{arxiv.2107.04497,
title = {Batch Inverse-Variance Weighting: Deep Heteroscedastic Regression},
author = {Vincent Mai and Waleed Khamies and Liam Paull},
journal= {arXiv preprint arXiv:2107.04497},
year = {2021}
}
备注
Accepted at the Uncertainty in Deep Learning (UDL) workshop at ICML 2021