FRIH：细粒度区域感知图像调和
计算机视觉与模式识别
2022-05-16 v1
摘要
图像调和旨在为合成图像生成更真实的前景与背景外观。现有方法对整体前景执行相同的调和过程。然而，植入的前景总包含不同的外观模式。所有现有方案均忽略各色块间的差异并丢失某些特定细节。因此，我们提出一种用于细粒度区域感知图像调和（FRIH）的新型全局-局部两阶段框架，其以端到端方式训练。第一阶段，使用整体输入前景掩码进行全局粗粒度调和。第二阶段，我们根据合成图像中对应像素 RGB 值将输入前景掩码自适应聚类为若干子掩码。各子掩码与粗调图像分别拼接，并送入轻量级级联模块，依据区域感知局部特征调整全局调和性能。此外，我们进一步设计融合预测模块，通过融合所有级联解码器层的特征生成最终结果，从而综合利用不同度的调和结果。无需额外修饰，我们的 FRIH 算法以轻量模型在 iHarmony4 数据集上取得最佳性能（PSNR 为 38.19 dB）。我们模型的参数量仅 11.98 M，远低于现有方法。
引用
@article{arxiv.2205.06448,
title = {FRIH: Fine-grained Region-aware Image Harmonization},
author = {Jinlong Peng and Zekun Luo and Liang Liu and Boshen Zhang and Tao Wang and Yabiao Wang and Ying Tai and Chengjie Wang and Weiyao Lin},
journal= {arXiv preprint arXiv:2205.06448},
year = {2022}
}