向量化与栅格化：面向草图与手写体的自监督学习
计算机视觉与模式识别
2021-03-26 v1
摘要
自监督学习因其从无标签数据中学习强大表征并在许多具有挑战性的下游任务上取得优异表现的能力而日益突出。然而无监督的预训练任务难以设计且通常特定于模态。尽管关于空间（如图像）或时序数据（声音或文本）模态的自监督方法文献丰富，但一种同时有益于这两类模态的通用预训练任务大体缺失。本文致力于为草图与手写体数据定义自监督预训练任务。此类数据的独特之处在于其以栅格化图像与矢量坐标序列的双重模态存在。我们通过对这种双重表征加以利用，提出两种新颖的跨模态翻译预训练任务用于自监督特征学习：向量化（Vectorization）与栅格化（Rasterization）。向量化学习将图像空间映射到矢量坐标，栅格化将矢量坐标映射到图像空间。我们表明所学编码器模块有益于基于栅格与基于矢量的手写体数据分析下游方法。经验证据表明，我们的新颖预训练任务超越了现有的单模态与多模态自监督方法。
引用
@article{arxiv.2103.13716,
title = {Vectorization and Rasterization: Self-Supervised Learning for Sketch and Handwriting},
author = {Ayan Kumar Bhunia and Pinaki Nath Chowdhury and Yongxin Yang and Timothy M. Hospedales and Tao Xiang and Yi-Zhe Song},
journal= {arXiv preprint arXiv:2103.13716},
year = {2021}
}
备注
IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), 2021 Code : https://github.com/AyanKumarBhunia/Self-Supervised-Learning-for-Sketch