面向多种图像翻译任务的空间相关损失
计算机视觉与模式识别
2021-04-05 v1
摘要
我们提出一种新颖的空间相关损失,它简单、高效且在不成对图像到图像(I2I)翻译中支持大幅外观变化的同时保持场景结构一致性。先前方法尝试通过像素级循环一致性或特征级匹配损失实现这一点,但这些损失的领域特定性质阻碍了跨大领域差距的翻译。为此,我们利用自相似性的空间模式作为定义场景结构的手段。我们的空间相关损失旨在仅捕捉图像内的空间关系而非领域外观。我们还引入一种新的自监督学习方法,以显式学习每种特定翻译任务的空间相关图。我们在所有三种不成对 I2I 翻译模式(单模态、多模态乃至单图像翻译)中均显示出相对于基线模型的显著提升。该新损失可轻松集成到现有网络架构中,从而具有广泛适用性。
引用
@article{arxiv.2104.00854,
title = {The Spatially-Correlative Loss for Various Image Translation Tasks},
author = {Chuanxia Zheng and Tat-Jen Cham and Jianfei Cai},
journal= {arXiv preprint arXiv:2104.00854},
year = {2021}
}
备注
14 pages, 12 figures