远程协作中 Hololens 相机的图像稳定
计算机视觉与模式识别
2023-04-07 v1
摘要
随着新技术的出现，增强现实（AR）已成为远程协作中的有效工具。窄视场（FoV）与运动模糊会给 AR 头显的远程观看者带来认知受限的不佳体验。在本文中，我们提出一种两阶段流水线来解决此问题，并以更大 FoV 确保稳定的观看体验。该方案包括对室内环境的离线 3D 重建，随后仅利用 AR 设备的实时位姿进行增强渲染。我们基于数据需求、重建质量、渲染与训练时间，对两种不同 3D 重建方法——RGB-D 几何方法与神经辐射场（NeRF）——进行了实验与评估。这些方法生成的序列具有更平滑的过渡，并提供了更好的环境视角。基于几何的增强 FoV 方法具有更好的渲染效果，因其无模糊输出，从而优于其他尝试的方法。结构相似性指数（SSIM）与峰值信噪比（PSNR）指标被用于定量表明基于几何的增强 FoV 方法的渲染质量更优。代码仓库链接 - https://github.com/MixedRealityETHZ/ImageStabilization。
引用
@article{arxiv.2304.02736,
title = {Image Stabilization for Hololens Camera in Remote Collaboration},
author = {Gowtham Senthil and Siva Vignesh Krishnan and Annamalai Lakshmanan and Florence Kissling},
journal= {arXiv preprint arXiv:2304.02736},
year = {2023}
}