XMP-Font：面向少样本字体生成的自监督跨模态预训练
计算机视觉与模式识别
2022-05-06 v2
摘要
生成新的字库对于字形丰富的文字而言是一项极为耗费人力与时间的工作。因此少样本字体生成是必要的，因为它仅需少量字形参考且在测试时无需微调。现有方法遵循风格-内容解耦范式，期望通过组合参考字形的风格编码与源内容表示来生成新字体。然而，这些少样本字体生成方法要么无法捕获内容无关的风格的表示，要么采用局部的部件级风格表示，不足以建模许多涉及超部件特征（如部件间间距与“连笔”）的中文字体风格。为解决这些缺陷并使风格表示更可靠，我们提出一种自监督跨模态预训练策略以及一个基于跨模态 transformer 的编码器，该编码器以字形图像与相应笔画标签为联合条件。跨模态编码器以自监督方式预训练，以有效捕获跨模态与模态内相关性，从而促进内容-风格解耦并建模各尺度（笔画级、部件级与字符级）的风格表示。预训练的编码器随后应用于下游字体生成任务而无需微调。我们的方法与最先进方法的实验比较表明，我们的方法成功迁移了各尺度的风格。此外，它仅需一个参考字形，并在少样本字体生成任务中取得最低的错误案例率，比次优方法低 28%。
引用
@article{arxiv.2204.05084,
title = {XMP-Font: Self-Supervised Cross-Modality Pre-training for Few-Shot Font Generation},
author = {Wei Liu and Fangyue Liu and Fei Ding and Qian He and Zili Yi},
journal= {arXiv preprint arXiv:2204.05084},
year = {2022}
}
备注
Accepted by CVPR2022