超越孤立单词:基于扩散的手写文本行生成
计算机视觉与模式识别
2025-08-06 v1
摘要
现有的手写文本生成方法主要关注孤立单词。然而,真实的手写文本不仅需要关注单个单词,还需要关注它们之间的关系,如垂直对齐和水平间距。因此,生成整个文本行更具前景和全面性。然而,这一任务面临着显著挑战,包括对复杂样式模式的精准建模,这些模式涵盖了单词内外关系,以及在大量字符之间保持内容准确性。为此,我们提出了 DiffBrush,一种用于手写文本行生成的新型扩散模型。与现有方法不同,DiffBrush 在风格仿真和内容准确性方面都表现突出,其关键策略包括:(1)内容解耦式风格学习,通过使用列和行掩码来 disentangle 风格与内容,从而更好地捕捉单词内外风格模式;(2)多尺度内容学习,采用行和单词判别器以确保文本内容的全局一致性和局部准确性。广泛的实验表明,DiffBrush 在生成高质量文本行方面表现卓越,尤其在风格再现和内容保留方面。代码可在 https://github.com/dailenson/DiffBrush 查看。
引用
@article{arxiv.2508.03256,
title = {Beyond Isolated Words: Diffusion Brush for Handwritten Text-Line Generation},
author = {Gang Dai and Yifan Zhang and Yutao Qin and Qiangya Guo and Shuangping Huang and Shuicheng Yan},
journal= {arXiv preprint arXiv:2508.03256},
year = {2025}
}
备注
To appear in ICCV2025