基于真实背景的图像内机器翻译探索

图像内机器翻译旨在将图像中从一种语言翻译成另一种语言。先前的图像内机器翻译研究主要在简化场景下进行，如单行黑色字体于白色背景的图像，这远离实际且难以用于实际应用。为使图像内机器翻译研究具有实际价值，有必要考虑文本背景来源于真实图像的复杂场景。为促进复杂场景图像内机器翻译的研究，我们设计了一个包含真实背景子标题文本的数据集。然而，先前的图像内机器翻译模型在复杂场景下表现不佳。为解决此问题，我们提出了DebackX模型，该模型将源图像中的背景与文本图像分离，对文本图像直接进行翻译，然后将翻译后的文本图像与背景融合，以生成目标图像。实验结果表明，我们的方法在翻译质量和视觉效果方面均取得了改进。