面向手绘草图识别的草图专用数据增强
计算机视觉与模式识别
2020-12-04 v2
摘要
由于训练数据有限以及同一物体自由手绘草图显著的类内方差，草图识别仍是一项重大挑战。该任务的常规方法常依赖于草图笔画时间顺序的可用性、从不同模态获取的额外线索，以及用真实图像对草图数据集进行监督增强，这也限制了这些方法在真实场景中的适用性与可行性。本文提出一种新颖的草图专用数据增强（SSDA）方法，自动利用草图的数量与质量。在数量方面，我们引入基于贝塞尔枢轴的形变（BPD）策略以丰富训练数据。在质量提升方面，我们提出均值笔画重建（MSR）方法生成一组具有更小类内方差的新型草图。这两种方案均不受任何多源数据与草图时间线索的限制。此外，我们表明一些近期在通用真实图像类别上训练的深度卷积神经网络模型，可比大多数专为草图识别设计的精细架构更好的选择。由于 SSDA 可集成于任意卷积神经网络，它相较现有方法具有明显优势。我们广泛的实验评估表明，所提方法在 TU-Berlin 数据集上取得了最先进结果（84.27%），以显著的 11.17% 提升超越人类表现。最后，更多实验展示了我们的方法在基于草图的图像检索任务中的实用价值。
引用
@article{arxiv.1910.06038,
title = {Sketch-Specific Data Augmentation for Freehand Sketch Recognition},
author = {Ying Zheng and Hongxun Yao and Xiaoshuai Sun and Shengping Zhang and Sicheng Zhao and Fatih Porikli},
journal= {arXiv preprint arXiv:1910.06038},
year = {2020}
}