通过紧致性提高深度回归性能
机器学习
2025-02-14 v1 人工智能
计算机视觉与模式识别
摘要
对于深度回归，保持目标相对于特征表示的序数化可在 various tasks 中提高性能。然而，序数化带来的好处的理论解释仍缺乏。本工作揭示，保持序数化可降低表示 Z 对目标 Y 的条件熵 H(Z|Y)。然而，我们的发现表明，典型的回归损失对降低 H(Z|Y)的作用甚微，尽管它对泛化性能至关重要。基于此动机，我们引入基于最优传输的正则化器，以保留特征空间中目标的相似关系以降低 H(Z|Y)。此外，我们引入一种简单而高效的策略，即复制回归目标，以此为降低 H(Z|Y)之目的。在三个真实世界的回归任务上的实验验证了我们的策略在提高深度回归方面的有效性。代码：https://github.com/needylove/Regression_tightness。
引用
@article{arxiv.2502.09122,
title = {Improving Deep Regression with Tightness},
author = {Shihao Zhang and Yuguang Yan and Angela Yao},
journal= {arXiv preprint arXiv:2502.09122},
year = {2025}
}
备注
ICLR 2025, Code: https://github.com/needylove/Regression_tightness