保持标签的对抗式自动增强：一种表示学习原则引导的方法
机器学习
2022-11-03 v1 计算机视觉与模式识别
摘要
数据增强是深度学习取得成功的关键因素，但严重依赖先验领域知识，而这类知识并非总是可得。近期关于自动数据增强的工作学习一种策略以形成一系列增强操作，这些操作仍是预定义的且局限于有限选项。本文中，我们表明无先验的自主数据增强的目标可从一个旨在保留标签最小充分信息的表示学习原则导出。给定一个样本，该目标旨在创建一个遥远的“困难正例”作为增强，同时仍保留原始标签。我们随后提出该目标的一个实用代理，可高效优化并无缝集成到广泛机器学习任务（如监督、半监督和带噪标签学习）的现有方法中。与先前工作不同，我们的方法无需训练额外的生成模型，而是利用终端任务模型的中间层表示来生成数据增强。实验中，我们表明我们的方法在效率与最终性能上持续为上述三类学习任务带来显著改进，无论是否与强预定义增强（例如当领域知识不可得且现有增强技术表现不佳的医学图像）结合。代码见：https://github.com/kai-wen-yang/LPA3。
引用
@article{arxiv.2211.00824,
title = {Adversarial Auto-Augment with Label Preservation: A Representation Learning Principle Guided Approach},
author = {Kaiwen Yang and Yanchao Sun and Jiahao Su and Fengxiang He and Xinmei Tian and Furong Huang and Tianyi Zhou and Dacheng Tao},
journal= {arXiv preprint arXiv:2211.00824},
year = {2022}
}
备注
36th Conference on Neural Information Processing Systems (NeurIPS 2022)