DeepDR：面向减弱现实的深度结构感知RGB-D修复
计算机视觉与模式识别
2023-12-04 v1
摘要
减弱现实（DR）是指通过用背景虚拟替换真实物体，将其从环境中移除。现代DR框架使用修复技术来推测未观测区域。虽然近期基于深度学习的修复技术前景广阔，但DR用例因需要生成连贯的结构和三维几何（即深度）而变得复杂，尤其对于三维场景编辑等高级应用。本文提出DeepDR，这是首个满足DR所有要求的RGB-D修复框架：以实时帧率运行、时间伪影极少的合理图像与几何修复。我们的结构感知生成网络能够显式地根据场景语义对颜色和深度输出进行条件约束，克服了在复杂背景区域重建清晰一致边界的困难。实验结果表明，所提框架在定性和定量上均能超越相关工作。
引用
@article{arxiv.2312.00532,
title = {DeepDR: Deep Structure-Aware RGB-D Inpainting for Diminished Reality},
author = {Christina Gsaxner and Shohei Mori and Dieter Schmalstieg and Jan Egger and Gerhard Paar and Werner Bailer and Denis Kalkofen},
journal= {arXiv preprint arXiv:2312.00532},
year = {2023}
}
备注
11 pages, 8 figures + 13 pages, 10 figures supplementary. Accepted at 3DV 2024