面向图像光源迁移的多尺度自校准网络
计算机视觉与模式识别
2021-04-22 v1
摘要
图像光源迁移（LLST）作为图像重打光领域最具挑战性的任务，近年来引起了广泛关注。在最新研究中，LLST被分解为三个子任务：场景重建、阴影估计与图像重渲染，为图像重打光提供了新范式。然而，场景重建与阴影估计任务中诸多问题（包括特征信息未校准与语义信息匮乏）仍未解决，导致特征表示不足。本文提出新颖的下采样特征自校准块（DFSB）与上采样特征自校准块（UFSB）作为特征编码器与解码器的基本单元，因LLST类似于图像光源的重新校准而迭代校准特征表示。此外，我们在场景重建任务中融合解码器的多尺度特征，以进一步挖掘并利用更多语义信息，从而为图像重渲染提供更精确的主体场景结构。在VIDIT数据集上的实验结果表明，所提方法显著提升了LLST性能。
引用
@article{arxiv.2104.08838,
title = {Multi-scale Self-calibrated Network for Image Light Source Transfer},
author = {Yuanzhi Wang and Tao Lu and Yanduo Zhang and Yuntao Wu},
journal= {arXiv preprint arXiv:2104.08838},
year = {2021}
}
备注
8 pages,4 figures