面向偏倚数据回归分析的变分激励损失重加权
机器学习
2021-09-15 v1
摘要
分类与回归任务都易受训练数据偏倚分布的影响。然而，现有方法聚焦于类不平衡学习，无法应用于学习目标为连续值而非离散标签的数值回归问题。本文旨在通过解决模型训练中的数据偏斜/偏倚来提升回归分析的准确性。我们首先引入两个指标——唯一性与异常性，从特征（即输入）空间与目标（即输出）空间的视角反映局部数据分布。结合这两个指标，我们提出一种变分激励损失重加权方法（VILoss），以优化基于梯度下降的回归分析模型训练。我们在合成与真实世界数据集上进行了充分实验。结果表明，训练中以 VILoss 作为损失准则时，模型质量显著提升（误差最多降低 11.9%）。
引用
@article{arxiv.2109.06565,
title = {Variation-Incentive Loss Re-weighting for Regression Analysis on Biased Data},
author = {Wentai Wu and Ligang He and Weiwei Lin},
journal= {arXiv preprint arXiv:2109.06565},
year = {2021}
}
备注
9 pages with appendix