面向混合遥在系统的基于注意力的遮挡去除
计算机视觉与模式识别
2021-12-03 v1
摘要
传统上，视频会议是被广泛采用的远程通信解决方案，但由于面部表示的二维特性，其固有地缺乏沉浸感。通过头戴式显示器（HMD）将虚拟现实（VR）集成到通信/遥在系统中，有望为用户提供更好的沉浸式体验。然而，HMD 会因遮挡用户的面部外观和表情而造成阻碍。为克服这些问题，我们提出了一种新颖的启用注意力的编码器-解码器架构用于 HMD 去遮挡。我们还提出使用用户的短视频（1-2 分钟）在变化的外观下捕获来训练我们的特定人模型，并展示了对用户未见姿态和外观的泛化能力。我们报告了优于最先进方法的定性和定量结果。我们还展示了该方法通过现有动画和 3D 人脸重建流程在混合视频远程会议中的应用。
引用
@article{arxiv.2112.01098,
title = {Attention based Occlusion Removal for Hybrid Telepresence Systems},
author = {Surabhi Gupta and Ashwath Shetty and Avinash Sharma},
journal= {arXiv preprint arXiv:2112.01098},
year = {2021}
}