TextMastero：掌握多语言、多风格的高质量场景文本编辑
计算机视觉与模式识别
2024-08-21 v1
摘要
场景文本编辑旨在修改图像中的文本，同时保持新生成文本的风格与原始文本相似。给定一张图像、一个目标区域和目标文本，该任务在选定区域生成目标文本，替换原始文本。该任务已被广泛研究，早期使用生成对抗网络（GANs）在文本保真度和风格相似度之间取得平衡，取得了一定成功。然而，基于GAN的方法在处理复杂背景或文本风格时存在困难。近期工作利用扩散模型，取得了改进的结果，但在处理复杂字形（如中文、日文、韩文等CJK字符）时仍面临挑战，常常生成不准确或无法识别的字符。为解决这些问题，我们提出了TextMastero——一种精心设计的基于潜在扩散模型（LDMs）的多语言场景文本编辑架构。TextMastero引入了两个关键模块：字形条件模块，用于对生成准确文本进行细粒度内容控制；以及潜在引导模块，用于提供全面的风格信息，确保编辑前后的相似性。定性和定量实验均表明，我们的方法在文本保真度和风格相似度方面均优于所有现有的已知方法。
引用
@article{arxiv.2408.10623,
title = {TextMastero: Mastering High-Quality Scene Text Editing in Diverse Languages and Styles},
author = {Tong Wang and Xiaochao Qu and Ting Liu},
journal= {arXiv preprint arXiv:2408.10623},
year = {2024}
}