ConR：面向深度不平衡回归的对比正则化器
机器学习
2024-03-15 v4
摘要
不平衡分布在真实世界数据中无处不在。它们对深度神经网络施加约束，使其难以表示少数类标签并避免偏向多数类标签。大量不平衡方法针对类别标签空间，却未能有效推广至标签空间连续的回归问题。连续标签的局部与全局相关性为有效建模特征空间中的关系提供了宝贵洞见。本工作中，我们提出 ConR，一种对比正则化器，在特征空间中建模全局与局部标签相似性，并防止少数类样本的特征坍缩至其多数类近邻中。ConR 辨识标签空间与特征空间之间的不一致，并对这些不一致施加惩罚。ConR 以对比方式通过两项主要策略处理标签空间的连续性：按标签相似性成比例惩罚错误邻近关系，并鼓励正确邻近关系以建模局部相似性。ConR 将关键考量整合为一种通用、易集成且高效的方法，有效解决深度不平衡回归问题。此外，ConR 与现有方法正交，并可平滑扩展至一维与多维标签空间。我们的综合实验表明，ConR 在四个大规模深度不平衡回归基准上显著提升了所有 SOTA 方法的性能。我们的代码公开于 https://github.com/BorealisAI/ConR。
引用
@article{arxiv.2309.06651,
title = {ConR: Contrastive Regularizer for Deep Imbalanced Regression},
author = {Mahsa Keramati and Lili Meng and R. David Evans},
journal= {arXiv preprint arXiv:2309.06651},
year = {2024}
}