基于不变性约束学习的自动数据增强
机器学习
2023-09-19 v2
摘要
底层数据结构（如对称性或对变换的不变性）常被用来改进学习任务的求解。然而，将这些性质嵌入模型或学习算法中可能具有挑战性且计算密集。另一方面，数据增强通过在训练时对输入数据施加多种变换来引入这些对称性。尽管其无处不在，其有效性取决于施加哪些变换、何时施加以及频率如何的选择。事实上，经验与理论证据均表明，不加区分地使用数据增强可能引入超出其收益的偏差。本工作通过在求解学习任务的同时自动调整数据增强来解决这些问题。为此，它将数据增强表述为一个不变性约束学习问题，并利用蒙特卡洛马尔可夫链 (MCMC) 采样来求解。结果是一个实用算法，不仅免除了对增强分布的先验搜索，还动态控制是否及何时施加数据增强。我们的实验说明了该方法的性能，其在 CIFAR 数据集的自动数据增强基准上取得了最先进（state-of-the-art）结果。此外，该方法可用于洞察学习任务底层的实际对称性。
引用
@article{arxiv.2209.15031,
title = {Automatic Data Augmentation via Invariance-Constrained Learning},
author = {Ignacio Hounie and Luiz F. O. Chamon and Alejandro Ribeiro},
journal= {arXiv preprint arXiv:2209.15031},
year = {2023}
}