C-Mixup：改进回归中的泛化能力
机器学习
2022-10-13 v1 机器学习
摘要
提升深度网络的泛化能力是一项重要的开放挑战，尤其在缺乏充足数据的领域。mixup 算法通过对一对示例及其对应标签进行线性插值来提升泛化能力。这些插值示例扩充了原始训练集。Mixup 已在多种分类任务中展现出有前景的结果，但对回归中 mixup 的系统性分析仍待探索。直接在回归标签上使用 mixup 可能导致任意错误的标签。本文中，我们提出一种简单而强大的算法 C-Mixup，以改进回归任务的泛化能力。与以均匀概率选取训练示例进行混合的 vanilla mixup 不同，C-Mixup 基于标签的相似性调整采样概率。我们的理论分析证实，在监督回归与元回归中，采用标签相似性的 C-Mixup 比 vanilla mixup 和采用特征相似性获得更小的均方误差。C-Mixup 的另一益处是可提升分布外鲁棒性，即测试分布不同于训练分布。通过选择性插值具有相似标签的示例，它缓解了领域关联信息的影响并产生领域不变表示。我们在十一个数据集上评估 C-Mixup，范围涵盖表格到视频数据。与最佳已有方法相比，C-Mixup 分别在分布内泛化、任务泛化和分布外鲁棒性上取得 6.56%、4.76%、5.82% 的提升。代码发布于 https://github.com/huaxiuyao/C-Mixup。
引用
@article{arxiv.2210.05775,
title = {C-Mixup: Improving Generalization in Regression},
author = {Huaxiu Yao and Yiping Wang and Linjun Zhang and James Zou and Chelsea Finn},
journal= {arXiv preprint arXiv:2210.05775},
year = {2022}
}
备注
Accepted by NeurIPS 2022