手写体 Transformer

在标记化文本、音频和图像上的Transformer可以生成高质量的自回归样本。但手写体数据,作为笔坐标序列,仍未得到充分探索。我们提出了一种新颖的标记化方案,将笔描绘偏移转换为极坐标,将其离散化为 bin,然后将其转化为用于训练标准GPT模型的标记序列。这使得我们能够在不使用任何专用体系结构(例如混合密度网络或来自Graves 2014的自推进ASCII注意力头)的情况下捕获复杂的描绘分布。仅凭3,500个手写单词和一些简单的数据增强,我们就能够训练一个能够生成逼真手写体的模型。我们的做法比以前的RNN-based方法更简单且更高效。