SemST：基于结构-纹理对齐的语义一致多尺度图像翻译
计算机视觉与模式识别
2023-10-10 v1
摘要
无监督图像到图像（I2I）翻译学习跨域图像映射，将源域输入转换到目标域输出，同时保留其语义。一个挑战是源域和目标域中不同的语义统计导致称为语义失真的内容差异。为解决此问题，本文提出并命名了一种在翻译中保持语义一致性的新颖 I2I 方法 SemST。SemST 通过对比学习并最大化输入与输出的结构与纹理属性之间的互信息来对齐二者，从而减少语义失真。此外，引入多尺度方法以增强翻译性能，从而使 SemST 适用于高分辨率图像的域适应。实验表明 SemST 有效缓解语义失真并达到最先进性能。同时，探索了 SemST 在域适应（DA）上的应用。初步实验证明，SemST 可用作语义分割任务的有益预训练。
引用
@article{arxiv.2310.04995,
title = {SemST: Semantically Consistent Multi-Scale Image Translation via Structure-Texture Alignment},
author = {Ganning Zhao and Wenhui Cui and Suya You and C. -C. Jay Kuo},
journal= {arXiv preprint arXiv:2310.04995},
year = {2023}
}