利用合成阴影学习以进行阴影检测与去除
计算机视觉与模式识别
2021-02-16 v2
摘要
阴影去除是计算机视觉与计算机图形学中的一项基本任务。近期的阴影去除方法均在真实的成对阴影/无阴影或阴影/无阴影/掩码图像数据集上训练卷积神经网络(CNN)。然而,获取大规模、多样化且精确的数据集一直是一大挑战,这限制了所学模型在具有未见形状/强度的阴影图像上的性能。为克服该挑战,我们提出了 SynShadow,一个新颖的大规模合成阴影/无阴影/遮罩图像三元组数据集及其合成流程。我们扩展了一个基于物理的阴影光照模型,并在给定无阴影图像、遮罩图像与阴影衰减参数的任意组合下合成阴影图像。得益于 SynShadow 的多样性、数量与质量,我们证明在 SynShadow 上训练的阴影去除模型能在一些具有挑战性的基准上很好地去除具有多样形状和强度的阴影。此外,我们展示仅从 SynShadow 预训练模型进行微调即可改进现有的阴影检测与去除模型。代码已公开于 https://github.com/naoto0804/SynShadow。
引用
@article{arxiv.2101.01713,
title = {Learning from Synthetic Shadows for Shadow Detection and Removal},
author = {Naoto Inoue and Toshihiko Yamasaki},
journal= {arXiv preprint arXiv:2101.01713},
year = {2021}
}
备注
Accepted to IEEE Transactions on Circuits and Systems for Video Technology (TCSVT), v2: fixed typos