中文

单样本扩散模拟器:用于手写文字生成的一种方法

计算机视觉与模式识别 2024-09-12 v2

摘要

现有的手写文字生成方法通常需要超过十个手写样本作为风格参考。然而,在实际应用中,用户倾向于使用仅需一个参考样本即可完成手写生成的模型,以提高便利性和效率。这种方法称为“单样本生成”,显著简化了流程,但由于难以从单个样本中准确捕捉书写者的风格,尤其是在从字符边缘提取细节时面临稀疏前景和不必要的背景噪声的挑战。为解决此问题,我们提出了一种单样本扩散模拟器(One-DM),用于仅需一个参考样本即可生成能够模拟任何书法风格的手写文字。灵感来自单个样本中高频信息常包含独特风格模式(如字符倾斜和字母连接)的事实,我们开发了一种新的风格增强模块,通过融合单个样本的高频成分来提高风格提取效果。随后,我们将风格特征与文本内容融合作为合并条件,用于引导扩散模型生成高质量的手写文字图像。大量实验表明,我们的方法能够成功地在多种语言中仅通过一个样本参考即可生成手写脚本,甚至优于以前使用超过十个样本的方法。我们的源代码已公开:https://github.com/dailenson/One-DM。

关键词

引用

@article{arxiv.2409.04004,
  title  = {One-Shot Diffusion Mimicker for Handwritten Text Generation},
  author = {Gang Dai and Yifan Zhang and Quhui Ke and Qiangya Guo and Shuangping Huang},
  journal= {arXiv preprint arXiv:2409.04004},
  year   = {2024}
}

备注

To appear in ECCV 2024