MR 协作中的实时淡化现实方法：隐私保护
计算机视觉与模式识别
2025-09-16 v1 人机交互
摘要
淡化现实（DR）指通过在现实世界对象的基底内容上进行合成来数字移除现实世界对象。本论文提出一种实时、基于图像插值的 DR 系统，旨在实现共享空间混合现实（MR）会议中的隐私控制。该系统允许主要头戴设备用户选择性地移除其环境中个人或敏感物品，确保这些对象对其他参与者不可见。通过语义分割和精确对象选择实现移除，随后由来自次要观察者视角的实时图像插值实现，采用移动 ZED 2i 深度相机实现。该解决方案具备可移植性和鲁棒性，无需固定次要视角或环境的事先3D扫描。系统利用 YOLOv11 进行对象检测，并使用修改版的解耦空间-时间转换器（DSTT）模型实现高质量视频插值。在720p 分辨率下，管道可保持超过 20 fps 的帧率，表明在实际应用中实现实时淡化现实是可行的。
引用
@article{arxiv.2509.10466,
title = {A Real-Time Diminished Reality Approach to Privacy in MR Collaboration},
author = {Christian Fane},
journal= {arXiv preprint arXiv:2509.10466},
year = {2025}
}
备注
50 pages, 12 figures | Demo video: https://youtu.be/udBxj35GEKI?t=499 | Code: https://github.com/c1h1r1i1s1 (multiple repositories)