利用 3D 合成数据的人像眼镜与阴影去除
计算机视觉与模式识别
2022-03-22 v1
摘要
在人像中，眼镜可能遮挡面部区域并在脸上产生投影阴影，这会降低人脸验证与表情识别等诸多技术的性能。人像眼镜去除在处理这些问题时至关重要。然而，完全去除眼镜具有挑战性，因为其引起的光照效果（如投影阴影）通常很复杂。在本文中，我们提出一种新框架，从人脸图像中去除眼镜及其投影阴影。该方法以先检测后去除的方式工作，其中眼镜与投影阴影均被检测然后从图像中去除。由于缺乏用于监督训练的配对数据，我们提出了一个新的合成人像数据集，为检测与去除任务同时提供中间与最终监督。此外，我们应用跨域技术来填补合成数据与真实数据之间的鸿沟。据我们所知，所提技术是首个同时去除眼镜及其投影阴影的方法。代码与合成数据集可在 https://github.com/StoryMY/take-off-eyeglasses 获取。
引用
@article{arxiv.2203.10474,
title = {Portrait Eyeglasses and Shadow Removal by Leveraging 3D Synthetic Data},
author = {Junfeng Lyu and Zhibo Wang and Feng Xu},
journal= {arXiv preprint arXiv:2203.10474},
year = {2022}
}
备注
Accepted by CVPR 2022