Sketch-R2CNN：一种用于矢量草图识别的注意力网络
计算机视觉与模式识别
2018-11-21 v1 图形学
摘要
手绘草图是一个动态过程，其中点被顺序采样并分组为笔画以便在电子设备上获取草图。为了识别草图对象，大多数现有方法丢弃了来自人类的重要时间顺序与分组信息，并简单地将草图栅格化为二值图像进行分类。在本文中，我们提出一种新颖的单分支注意力网络架构 RNN-栅格化-CNN（简称 Sketch-R2CNN）以充分利用草图中的动态信息进行识别。Sketch-R2CNN 仅以带有分组点序列的矢量草图作为输入，并分别使用 RNN 在向量空间中进行笔画注意力估计，以及使用 CNN 在像素空间中进行二维特征提取。为了弥合神经网络中这两个空间之间的差距，我们提出一种神经线条栅格化模块，将矢量草图连同 RNN 估计的注意力转换为位图图像，随后由 CNN 处理。该神经线条栅格化模块以可微分方式设计，以产生用于端到端学习的统一流水线。我们在现有大规模草图识别基准上进行了实验，并表明通过利用带有注意力机制的草图动态信息，我们的方法比最先进的方法更鲁棒且取得更好的性能。
引用
@article{arxiv.1811.08170,
title = {Sketch-R2CNN: An Attentive Network for Vector Sketch Recognition},
author = {Lei Li and Changqing Zou and Youyi Zheng and Qingkun Su and Hongbo Fu and Chiew-Lan Tai},
journal= {arXiv preprint arXiv:1811.08170},
year = {2018}
}