全景感知的图像到图像翻译
计算机视觉与模式识别
2022-12-26 v2
摘要
尽管图像翻译取得了显著进展，包含多个差异物体的复杂场景仍是一个具有挑战性的问题。翻译后的图像保真度低，微小物体细节缺失，导致物体识别性能不尽人意。若无作为先验知识的图像透彻物体感知（即边界框、类别与掩码），每个物体的风格变换在翻译中将难以追踪。我们提出全景感知生成对抗网络（PanopticGAN）用于图像到图像翻译，并附带一个紧凑的全景分割数据集。提取全景感知（即图像场景的前景实例与背景语义）以实现输入域的物体内容编码与从目标风格空间采样的全景级风格编码之间的对齐，随后由所提特征掩码模块细化以锐化物体边界。图像级的内容与采样风格编码组合也被融合以生成更高保真度的图像。我们的方法与不同竞争方法进行了系统比较，在图像质量与物体识别性能上均获得显著提升。
引用
@article{arxiv.2112.01926,
title = {Panoptic-aware Image-to-Image Translation},
author = {Liyun Zhang and Photchara Ratsamee and Bowen Wang and Zhaojie Luo and Yuki Uranishi and Manabu Higashida and Haruo Takemura},
journal= {arXiv preprint arXiv:2112.01926},
year = {2022}
}
备注
In 2023 IEEE winter conference on applications of computer vision (WACV)