提升现实图像中无提取图的通用图像调色
计算机视觉与模式识别
2024-05-29 v1
摘要
图像调色旨在准确地将前景对象与背景分离。最近,因仅需原始图像而无需任何额外输入的提取图-free 调色受到广泛关注。此类方法通常自行提取粗略的前景以取代提取图作为后续指导。然而,'前景'的定义缺乏统一标准,导致产生歧义。此外,提取的前景有时不完整,这源于网络设计不足。最重要的是,目前没有大规模的现实调色数据集,当前的提取图-free 方法使用合成图像训练,在实际应用中 suffer from 较大的领域偏移问题。在本文中,我们将显著目标定义为前景,这与人类认知一致且与当前调色数据集的注释一致。同时,显著目标检测的数据和技术可以轻松迁移到调色领域。为获得更准确和更完整的 alpha matte,我们提出一种称为 \textbf{M}ulti-\textbf{F}eature fusion-based \textbf{C}oarse-to-fine Network \textbf{(MFC-Net)} 的网络,充分整合多个特征以获得准确且完整的 alpha matte。此外,我们引入图像在数据组成中的和谐性,以弥合合成图像与真实图像之间的差距。更重要的是,我们建立了目前为止规模最大的通用调色数据集 \textbf{Real-19k}。实验表明,我们的方法在合成图像和现实图像上均显著有效,现实数据集上的性能远优于现有的调色-free 方法。我们的代码和数据将很快发布。
引用
@article{arxiv.2405.17916,
title = {Boosting General Trimap-free Matting in the Real-World Image},
author = {Leo Shan Wenzhang Zhou Grace Zhao},
journal= {arXiv preprint arXiv:2405.17916},
year = {2024}
}
备注
13 pages, 8 figures