用于手绘草图识别的多图Transformer
计算机视觉与模式识别
2021-03-26 v3 机器学习
摘要
鉴于草图信号的稀疏性与高度抽象性，学习有意义的手绘草图表示仍是一项具有挑战性的任务。现有技术要么侧重于利用卷积神经网络（CNN）处理草图的静态特性，要么利用循环神经网络（RNN）处理其时间序列特性。在本工作中，我们提出将草图表示为多个稀疏连接的图这一新表示方式。我们设计了一种新颖的图神经网络（GNN）——多图Transformer（MGT），用于从多个图中学习草图表示，这些图同时捕捉全局与局部几何笔画结构以及时间信息。我们在一个草图识别任务上报告了广泛的数值实验，以证明所提方法的性能。具体而言，在来自Google QuickDraw的41.4万张草图上应用的MGT：（i）与基于CNN的性能上界（72.80% vs. 74.22%）差距很小；（ii）大幅优于所有基于RNN的模型。据我们所知，这是首项提出将草图表示为图并应用GNN进行草图识别的工作。代码与训练好的模型可在 https://github.com/PengBoXiangShang/multigraph_transformer 获取。
引用
@article{arxiv.1912.11258,
title = {Multi-Graph Transformer for Free-Hand Sketch Recognition},
author = {Peng Xu and Chaitanya K. Joshi and Xavier Bresson},
journal= {arXiv preprint arXiv:1912.11258},
year = {2021}
}
备注
This paper has been accepted by IEEE TNNLS