Tied-Augment：控制表征相似性改进数据增强
计算机视觉与模式识别
2023-05-24 v1 人工智能
机器学习
摘要
数据增强方法在深度学习模型近期的进展中发挥了重要作用，并已成为视觉半监督、自监督和监督训练中最先进模型不可或缺的组成部分。尽管在测试时不带来额外延迟，数据增强通常需要更多训练轮次才能生效。例如，即便是简单的翻转与裁剪增强也需要训练超过 5 个轮次才能提升性能，而 RandAugment 需要超过 90 个轮次。我们提出了一个称为 Tied-Augment 的通用框架，通过在损失中添加一个简单项来控制失真下表征的相似性，从而在广泛应用下提升数据增强的效力。Tied-Augment 可改进数据增强（如 RandAugment、mixup）、优化（如 SAM）和半监督学习（如 FixMatch）中的最先进方法。例如，Tied-RandAugment 在 ImageNet 上可超越 RandAugment 达 2.0%。值得注意的是，使用 Tied-Augment，即便仅训练少数轮次以及微调时，数据增强也能改善泛化。我们在 https://github.com/ekurtulus/tied-augment/tree/main 开源了代码。
引用
@article{arxiv.2305.13520,
title = {Tied-Augment: Controlling Representation Similarity Improves Data Augmentation},
author = {Emirhan Kurtulus and Zichao Li and Yann Dauphin and Ekin Dogus Cubuk},
journal= {arXiv preprint arXiv:2305.13520},
year = {2023}
}
备注
14 pages, 2 figures, ICML 2023