不仅是精美的图片：面向基于文本到图像生成器的干预式数据增强
计算机视觉与模式识别
2024-06-05 v4
摘要
已知神经图像分类器在暴露于从与其训练数据不同的环境条件中采样的输入时，会发生严重的性能下降。鉴于文本到图像（T2I）生成的最新进展，一个自然的问题是，如何利用现代 T2I 生成器模拟此类环境因素上的任意干预，以增强训练数据并提高下游分类器的鲁棒性。我们在单域泛化（SDG）和减少对虚假特征的依赖（RRSF）的多种基准测试上进行了实验，对 T2I 生成的关键维度进行了消融分析，包括干预式提示策略、条件机制和事后过滤。我们广泛的实证结果表明，像 Stable Diffusion 这样的现代 T2I 生成器确实可以作为一种强大的干预式数据增强机制，无论每个维度如何配置，都优于以前 SOTA 的数据增强技术。
引用
@article{arxiv.2212.11237,
title = {Not Just Pretty Pictures: Toward Interventional Data Augmentation Using Text-to-Image Generators},
author = {Jianhao Yuan and Francesco Pinto and Adam Davies and Philip Torr},
journal= {arXiv preprint arXiv:2212.11237},
year = {2024}
}
备注
29 pages, 16 figures