人工偏移总体风险的数学框架及其与一致性正则化的进一步理解
机器学习
2025-02-18 v1 人工智能
摘要
数据增强是训练深度神经网络的重要技术，能提升模型的泛化能力与鲁棒性。尽管数据增强常被用于扩大样本规模并作为一致性正则化项，但二者之间的关系仍缺乏研究。为填补这一空白，本文提出了一个更全面的数据增强数学框架。通过该框架，我们证明了偏移总体的期望风险是原始总体风险与一个间隙项之和，该间隙项可被解释为一致性正则化项。本文还对这一间隙项提供了理论理解，强调了其在训练早期阶段的负面影响。我们也提出了一种缓解这些影响的方法。为验证我们的方法，我们在多种场景下（包括标准训练、分布外和不平衡分类）使用相同的数据增强技术和计算资源进行了实验。结果表明，在所有场景下，我们的方法在泛化能力和收敛稳定性方面均优于对比方法。我们在以下链接提供了代码实现：https://github.com/ydlsfhll/ASPR。
引用
@article{arxiv.2502.10723,
title = {A Mathematics Framework of Artificial Shifted Population Risk and Its Further Understanding Related to Consistency Regularization},
author = {Xiliang Yang and Shenyang Deng and Shicong Liu and Yuanchi Suo and Wing. W. Y NG and Jianjun Zhang},
journal= {arXiv preprint arXiv:2502.10723},
year = {2025}
}