面向 XR 应用中 HMD 移除的表情感知视频修复

头戴式显示器（HMD）是观察扩展现实（XR）环境和虚拟内容不可或缺的设备。然而，HMD 遮挡了用户的上半部分面部，给外部录制技术带来了障碍。这一限制显著影响了社交 XR 应用，特别是远程会议，在这些应用中，面部特征和眼睛注视信息对于创造沉浸式用户体验至关重要。在本研究中，我们基于生成对抗网络（GAN）提出了一种用于 HMD 移除的表情感知视频修复新网络（EVI-HRnet）。我们的模型能够根据面部关键点和用户的一张无遮挡参考图像，有效地填补缺失信息。该框架及其组件利用参考帧确保了用户身份在各帧之间的保留。为了进一步提高修复输出的真实感水平，我们引入了一种新颖的面部表情识别（FER）损失函数以保持情感。我们的结果证明了所提出的框架在从面部视频中移除 HMD 的同时，保持受试者面部表情和身份的卓越能力。此外，输出结果在修复的帧之间表现出时间一致性。这个轻量级框架为 HMD 遮挡移除提供了一种实用的方法，有潜力在不增加额外硬件的情况下增强各种协作式 XR 应用。