SSH：一种用于图像调和的自监督框架
计算机视觉与模式识别
2021-08-19 v2
摘要
图像调和旨在通过匹配前景与背景图像之间的“外观”（如色调、亮度和对比度）来提升图像合成的质量。然而，为此任务收集大规模标注数据集需要复杂的专业修图。相反，我们提出了一种新颖的自监督调和框架（Self-Supervised Harmonization, SSH），其可仅使用未经编辑的“免费”自然图像进行训练。我们从表示融合的视角重新表述图像调和问题，分别处理前景与背景样本，以解决背景遮挡问题。该框架设计允许一种双重数据增强方法，其中可通过使用 3D 颜色查找表（LUTs）对带扰动的图像进行裁剪，生成多样的 [前景, 背景, 伪 GT] 三元组。此外，我们构建了一个由专家用户精心创建的实世界调和数据集，用于评估与基准测试。我们的结果表明，所提出的自监督方法在参考指标、视觉质量和受试者用户研究方面均优于先前的最先进方法。代码与数据集可在 \url{https://github.com/VITA-Group/SSHarmonization} 获取。
引用
@article{arxiv.2108.06805,
title = {SSH: A Self-Supervised Framework for Image Harmonization},
author = {Yifan Jiang and He Zhang and Jianming Zhang and Yilin Wang and Zhe Lin and Kalyan Sunkavalli and Simon Chen and Sohrab Amirghodsi and Sarah Kong and Zhangyang Wang},
journal= {arXiv preprint arXiv:2108.06805},
year = {2021}
}
备注
Accepted by ICCV'2021