用于分类的增广诱导一致性正则化
机器学习
2022-05-27 v2 人工智能
摘要
深度神经网络已在许多监督学习任务中流行，但在训练数据集有限时可能过拟合。为缓解此问题，许多研究者使用数据增广，这是一种广泛应用且有效的增加数据集多样性的方法。然而，数据增广引入的随机性导致训练与推理间不可避免的不一致，从而造成改进有限。本文提出一种基于数据增广的一致性正则化框架，称为 CR-Aug，其强制由数据增广生成的不同子模型输出分布彼此一致。具体而言，CR-Aug 评估每个样本两个增广版本输出分布间的差异，并利用停止梯度操作最小化一致性损失。我们将 CR-Aug 应用于图像与音频分类任务，并开展大量实验验证其在提升分类器泛化能力上的有效性。我们的 CR-Aug 框架即插即用，可轻松适配许多最先进的网络架构。实证结果表明，CR-Aug 以显著优势超越基线方法。
引用
@article{arxiv.2205.12461,
title = {Augmentation-induced Consistency Regularization for Classification},
author = {Jianhan Wu and Shijing Si and Jianzong Wang and Jing Xiao},
journal= {arXiv preprint arXiv:2205.12461},
year = {2022}
}
备注
This paper is accepted by IJCNN2022