手写体 Transformer
计算机视觉与模式识别
2021-08-06 v1
摘要
我们提出了一种新颖的基于 Transformer 的风格化手写文本图像生成方法 HWT，旨在学习风格-内容纠缠以及全局与局部书写风格模式。所提出的 HWT 通过自注意力机制捕获风格样本内部的长程与短程关系，从而编码全局与局部风格模式。此外，所提出的基于 Transformer 的 HWT 包含编码器-解码器注意力，通过聚合每个查询字符的风格表示来实现风格-内容纠缠。据我们所知，我们是首个引入基于 Transformer 的生成网络用于风格化手写文本生成的。我们提出的 HWT 生成逼真的风格化手写文本图像，并通过广泛的定性、定量和基于人类的评估表明其显著优于当前最优方法（SOTA）。所提出的 HWT 能够在少样本设定下处理任意长度的文本和任意期望的书写风格。此外，我们的 HWT 在训练时单词与书写风格均未见过的挑战性场景中也能很好地泛化，生成逼真的风格化手写文本图像。
引用
@article{arxiv.2104.03964,
title = {Handwriting Transformers},
author = {Ankan Kumar Bhunia and Salman Khan and Hisham Cholakkal and Rao Muhammad Anwer and Fahad Shahbaz Khan and Mubarak Shah},
journal= {arXiv preprint arXiv:2104.03964},
year = {2021}
}