Sketch-BERT：基于 Transformer 的草图双向编码器表示学习及其草图格式塔自监督学习
计算机视觉与模式识别
2020-05-20 v1 机器学习
摘要
以往关于草图的研究通常将草图视为像素格式，并利用基于 CNN 的模型进行草图理解。从根本上说，草图是以数据点序列（一种矢量格式表示）存储的，而非照片级的像素图像。SketchRNN 通过长短期记忆网络（LSTM）研究了矢量格式草图的生成式神经表示。遗憾的是，SketchRNN 学习到的表示主要用于生成任务，而非草图的识别与检索等其他任务。为此，受近期 BERT 模型的启发，我们提出了一种从 Transformer 学习草图双向编码器表示（Sketch-BERT）的模型。我们将 BERT 推广至草图领域，提出了新颖的组件与预训练算法，包括新设计的草图嵌入网络，以及草图格式塔的自监督学习。特别地，针对预训练任务，我们提出了一种新颖的草图格式塔模型（SGM）以辅助训练 Sketch-BERT。实验上，我们表明 Sketch-BERT 学习到的表示能够帮助并提升草图识别、草图检索和草图格式塔等下游任务的性能。
引用
@article{arxiv.2005.09159,
title = {Sketch-BERT: Learning Sketch Bidirectional Encoder Representation from Transformers by Self-supervised Learning of Sketch Gestalt},
author = {Hangyu Lin and Yanwei Fu and Yu-Gang Jiang and Xiangyang Xue},
journal= {arXiv preprint arXiv:2005.09159},
year = {2020}
}
备注
Accepted to CVPR 2020