场景风格文本编辑
计算机视觉与模式识别
2023-04-21 v1
摘要
在本文中，我们提出了一项称为“场景风格文本编辑（SSTE）”的任务，即在保持原始文本场景的同时，改变源图像中的文本内容以及文本风格。现有方法忽视了对前景文本的细粒度风格调整，例如其旋转角度、颜色和字体类型。为应对该任务，我们提出了一个名为“QuadNet”的四元组框架，用于在潜在特征空间中嵌入并调整前景文本风格。具体而言，QuadNet由四部分组成，即背景修复、风格编码器、内容编码器和融合生成器。背景修复擦除源文本内容并以高度真实的纹理恢复合适的背景。风格编码器提取前景文本的风格嵌入。内容编码器在潜在特征空间中提供目标文本表示以实现内容编辑。融合生成器结合上述部分产生的信息并生成渲染后的文本图像。实际上，我们的方法仅借助字符串级标注即可在真实世界数据集上取得良好效果。据我们所知，我们的工作是首个通过潜在特征空间中的深度语义编辑来精细操控前景文本内容与风格的工作。大量实验表明，QuadNet在编辑文本内容时能够生成照片级真实的前景文本，并避免源文本阴影出现在真实场景之中。
引用
@article{arxiv.2304.10097,
title = {Scene Style Text Editing},
author = {Tonghua Su and Fuxiang Yang and Xiang Zhou and Donglin Di and Zhongjie Wang and Songze Li},
journal= {arXiv preprint arXiv:2304.10097},
year = {2023}
}