DGFont++：用于无监督字体生成的鲁棒可变形生成网络
计算机视觉与模式识别
2023-01-02 v1 人工智能
摘要
无需人类专家的自动字体生成是一个实用且重要的问题，尤其对于由大量字符组成的某些语言而言。现有的字体生成方法通常属于监督学习。它们需要大量配对数据，而收集这些数据费时费力且成本高昂。相比之下，常见的无监督图像到图像翻译方法不适用于字体生成，因为它们通常将风格定义为纹理与颜色的集合。在本工作中，我们提出一种用于无监督字体生成的鲁棒可变形生成网络（简称 DGFont++）。我们引入特征形变跳跃连接（FDSC）来学习字体间的局部模式与几何变换。FDSC 预测位移图对，并利用预测出的图对低层内容特征图施加可变形卷积。FDSC 的输出被送入混合器以生成最终结果。此外，我们引入对比自监督学习，通过理解字体间的相似性与差异性来学习鲁棒的字体风格表示。为区分不同风格，我们使用多任务判别器训练模型，以确保每种风格可被独立判别。除对抗损失外，还采用另外两种重建损失来约束生成图像与内容图像间的域不变特征。借助 FDSC 与所采用的损失函数，我们的模型能够保持空间信息并以无监督方式生成高质量字符图像。实验表明，我们的模型能够生成比最先进方法更高质量的字符图像。
引用
@article{arxiv.2212.14742,
title = {DGFont++: Robust Deformable Generative Networks for Unsupervised Font Generation},
author = {Xinyuan Chen and Yangchen Xie and Li Sun and Yue Lu},
journal= {arXiv preprint arXiv:2212.14742},
year = {2023}
}
备注
arXiv admin note: substantial text overlap with arXiv:2104.03064