DeepCalliFont：融合双模态生成模型的少样本中国书法字体合成
计算机视觉与模式识别
2023-12-19 v1
摘要
少样本字体生成，特别是针对中国书法字体，是一个具有挑战性且持续存在的问题。在主要基于字形一致性假设的先验知识的帮助下，一些最近提出的方法能够合成高质量的中文字形图像。然而，书法字体风格中的字形通常不满足这些假设。为了解决这个问题，我们提出了一种新颖的模型 DeepCalliFont，通过融合双模态生成模型来进行少样本中国书法字体合成。具体而言，所提出的模型由图像合成和序列生成分支组成，通过双模态表示学习策略生成一致的结果。这两种模态（即字形图像和书写序列）通过特征重组模块和栅格化损失函数进行了适当的整合。此外，采用了一种新的预训练策略，通过利用大量单模态数据来提高性能。我们进行了定性和定量实验，以证明我们的方法在少样本中国书法字体合成任务上优于其他 SOTA 方法。源代码可在 https://github.com/lsflyt-pku/DeepCalliFont 找到。
引用
@article{arxiv.2312.10314,
title = {DeepCalliFont: Few-shot Chinese Calligraphy Font Synthesis by Integrating Dual-modality Generative Models},
author = {Yitian Liu and Zhouhui Lian},
journal= {arXiv preprint arXiv:2312.10314},
year = {2023}
}
备注
AAAI2024