分层动态图像和谐化
计算机视觉与模式识别
2023-05-09 v3 人工智能
多媒体
摘要
图像和谐化是计算机视觉中的一项关键任务，旨在调整前景以使其与背景兼容。近期工作主要聚焦于使用全局变换（即归一化与色彩曲线渲染）来实现视觉一致性。然而，这些模型忽略了局部视觉一致性，且其庞大的模型规模限制了它们在边缘设备上的和谐化能力。本文提出一种分层动态网络（HDNet），从局部到全局视角自适应特征，以在高效图像和谐化中实现更好的特征变换。受各类动态模型成功的启发，本文提出了局部动态（LD）模块与掩码感知全局动态（MGD）模块。具体而言，LD基于语义相似性匹配前景与背景区域间的局部表示，随后根据其个最近邻背景区域的外观自适应调整每个前景局部表示。由此，LD能在更细粒度上生成更真实的图像，同时具备语义对齐的特性。MGD对前景与背景有效施加不同的卷积，学习前景与背景区域的表示及其与全局和谐化的关联，从而更高效地促进图像的局部视觉一致性。实验结果表明，所提出的HDNet相比先前方法显著减少了超过80%的总模型参数量，同时在流行的iHarmony4数据集上仍达到了最先进的性能。值得注意的是，相比先前最先进方法，HDNet在PSNR上实现了4%的提升，在MSE上实现了19%的降低。
引用
@article{arxiv.2211.08639,
title = {Hierarchical Dynamic Image Harmonization},
author = {Haoxing Chen and Zhangxuan Gu and Yaohui Li and Jun Lan and Changhua Meng and Weiqiang Wang and Huaxiong Li},
journal= {arXiv preprint arXiv:2211.08639},
year = {2023}
}