通过生成式数据增强提升细粒度图像分类器性能
计算机视觉与模式识别
2020-08-13 v1 机器学习
摘要
机器学习（ML）和计算机视觉工具的最新进展已使其在金融分析、医学诊断乃至国防部等众多领域得到应用。然而，它们在现实场景中的广泛部署面临若干挑战：（1）许多应用高度专业化，因而运行于\emph{稀疏数据}领域；（2）ML工具对其训练集敏感，通常需要繁琐、劳动密集型的数据采集与标注过程；（3）ML工具可能极度“黑箱”，用户几乎无法洞察决策过程或新数据如何影响预测性能。为应对这些挑战，我们设计开发了DAPPER GAN（基于鲁棒生成对抗网络精调的数据增强，Data Augmentation from Proficient Pre-Training of Robust Generative Adversarial Networks），一种ML分析辅助工具，可自动生成训练图像的 novel 视角以提升下游分类器性能。DAPPER GAN利用StyleGAN2模型（在LSUN cars数据集上训练）生成的高保真嵌入，为先前未见的类别创建新图像。我们在Stanford Cars数据集上实验评估该技术，表明使用我们基于GAN的数据增强框架可提升车辆品牌与型号分类准确率，并减少对真实数据的需求。通过对增强与非增强数据集上分类器性能的分析验证了方法有效性：在视觉相似类别上，使用最多少30%真实数据即可达到相当或更好的准确率。为支撑该方法，我们提出了一种可在嵌入空间中操控目标对象语义有意义维度（如朝向）的新颖增强方法。
引用
@article{arxiv.2008.05381,
title = {Improving the Performance of Fine-Grain Image Classifiers via Generative Data Augmentation},
author = {Shashank Manjunath and Aitzaz Nathaniel and Jeff Druce and Stan German},
journal= {arXiv preprint arXiv:2008.05381},
year = {2020}
}