用于深度回归的标签编码学习
机器学习
2023-03-07 v1 计算机视觉与模式识别
摘要
深度回归网络被广泛用于解决为给定输入预测连续值的问题。针对回归网络训练的专用任务方法相比直接回归等通用方法已显示出显著改进。最近,一种基于使用二值编码标签通过二分类进行回归的通用方法相比直接回归也显示出显著改进。回归的标签编码空间很大。迄今为止一直缺乏为给定应用自动寻找良好标签编码的方法。本文提出正则化标签编码学习(RLEL),用于对整个网络及其标签编码进行端到端训练。RLEL 提供了一种解决回归的通用方法。RLEL 的核心在于我们的观察:标签编码的搜索空间可通过结合实值标签编码的连续搜索空间与旨在鼓励具有特定性质编码的正则化函数加以约束并高效探索。这些性质在单个比特的分类错误概率与纠错能力之间取得平衡。RLEL 找到的标签编码产生的误差低于或与人工设计的标签编码相当。应用 RLEL 相比直接回归和多类分类在平均绝对误差(MAE)上分别实现了 10.9% 和 12.4% 的提升。我们的评估表明,RLEL 可与现成特征提取器结合,并适用于不同架构、数据集和任务。代码见 https://github.com/ubc-aamodt-group/RLEL_regression。
引用
@article{arxiv.2303.02273,
title = {Learning Label Encodings for Deep Regression},
author = {Deval Shah and Tor M. Aamodt},
journal= {arXiv preprint arXiv:2303.02273},
year = {2023}
}
备注
Published at ICLR 2023 (Notable top-25%)