SLACK：基于冷启动与 KL 正则化的稳定增强学习
计算机视觉与模式识别
2023-06-19 v1 机器学习
摘要
数据增强已知可改善神经网络的泛化能力，前提是变换集合经过谨慎选择，而这一选择通常手动完成。自动数据增强旨在使该过程自动化。然而，近期大多数方法仍依赖某些先验信息；它们从一小部分手动选定的默认变换池出发，这些变换或被用于预训练网络，或被强制作为自动数据增强算法所学策略的一部分。在本文中，我们提出直接学习增强策略而不利用此类先验知识。由此产生的双层优化问题因更大的搜索空间以及双层优化算法固有的不稳定性而更具挑战性。为缓解这些问题，（i）我们采用带有 Kullback-Leibler 正则化的连续冷启动策略，（ii）我们将幅度参数化为连续分布。尽管设定更具挑战性，我们的方法在标准基准上取得了有竞争力的结果，并可推广至自然图像之外。
引用
@article{arxiv.2306.09998,
title = {SLACK: Stable Learning of Augmentations with Cold-start and KL regularization},
author = {Juliette Marrie and Michael Arbel and Diane Larlus and Julien Mairal},
journal= {arXiv preprint arXiv:2306.09998},
year = {2023}
}
备注
Accepted to CVPR 2023