ACCon:用于深度回归的角度补偿对比正则化器
机器学习
2025-01-14 v1 人工智能
摘要
在深度回归中,捕捉特征空间中连续标签之间的关系是引起日益关注的基本挑战。针对这一问题可以防止模型在各种回归任务中收敛到次优解,从而实现更好的性能,尤其是在不平衡的回归和受限样本量的情况下。然而,现有方法通常依赖于基于顺序的表示学习或基于距离的加权。在本文中,我们假设标签距离与表示相似性之间存在线性负相关。在实现这一点的过程中,我们提出了一种用于深度回归的角度补偿对比正则化器,该方法在对比学习框架内调整锚样本和负样本之间的余弦距离。我们的方法提供了一个即插即用的兼容解决方案,扩展了大多数现有的对比学习方法以适用于回归任务。广泛的实验和理论分析表明,我们提出的角度补偿对比正则化器不仅实现了具竞争力的回归性能,而且在不平衡数据集上在数据效率和效果方面也表现出色。
引用
@article{arxiv.2501.07045,
title = {ACCon: Angle-Compensated Contrastive Regularizer for Deep Regression},
author = {Botao Zhao and Xiaoyang Qu and Zuheng Kang and Junqing Peng and Jing Xiao and Jianzong Wang},
journal= {arXiv preprint arXiv:2501.07045},
year = {2025}
}
备注
Accept by AAAI-2025 (The 39th Annual AAAI Conference on Artificial Intelligence)