交互式人像调和
计算机视觉与模式识别
2022-03-17 v1
摘要
当前的图像调和方法将整个背景作为调和的引导。然而，这可能限制用户选择背景中任何特定物体/人物来引导调和的能力。为实现用户与调和之间的灵活交互，我们引入交互式调和这一新设定，其中调和是相对于参考图像中选定\emph{区域}而非整个背景进行的。我们提出了一种灵活的新框架，允许用户选取背景图像的某些区域并用其引导调和。受专业人像调和用户的启发，我们还引入了一种新的亮度匹配损失，以在合成前景与选定参考区域之间最优地匹配颜色/亮度条件。该框架为图像调和流程提供了更多控制，实现了视觉愉悦的人像编辑。此外，我们还引入了一个精心构建的用于验证人像调和的新数据集。在合成与真实世界数据集上的大量实验表明，相较于先前的调和基线，所提方法高效且鲁棒，尤其适用于人像。项目主页：\href{https://jeya-maria-jose.github.io/IPH-web/}{https://jeya-maria-jose.github.io/IPH-web/}
引用
@article{arxiv.2203.08216,
title = {Interactive Portrait Harmonization},
author = {Jeya Maria Jose Valanarasu and He Zhang and Jianming Zhang and Yilin Wang and Zhe Lin and Jose Echevarria and Yinglan Ma and Zijun Wei and Kalyan Sunkavalli and Vishal M. Patel},
journal= {arXiv preprint arXiv:2203.08216},
year = {2022}
}