Tele-Aloha：基于稀疏 RGB 相机的低预算高真实感远距离会话系统
计算机视觉与模式识别
2024-05-24 v1
摘要
本文提出了一种低预算且高真实感的双向远距离会话系统 Tele-Aloha，针对点对点通信场景。与现有系统不同，Tele-Aloha 仅使用四个稀疏 RGB 相机、一个消费级 GPU 和一个自由显示屏幕，即可实现高分辨率（2048×2048）、实时（30 fps）、低延迟（小于 150ms）且稳健的远程通信。作为 Tele-Aloha 的核心，我们提出了一种用于上半身的高效新视角合成算法。首先，我们设计了级联视差估计算子，以获取稳健的几何线索。此外，引入一种基于高斯溅写的神经光栅器，将潜在特征投影到目标视角中，并解码为降低分辨率的图像。进一步地，利用加权融合机制，对解码后的图像进行细化，生成最终的 2K 分辨率。运用业界领先的自由显示技术和低延迟虹膜跟踪，用户即可在无需佩戴头戴式显示器的情况下，体验到强烈的三维感受。总体而言，Tele-Aloha 在实际实验中展现了共处感，为下一代通信技术的发展提供了灵感。
引用
@article{arxiv.2405.14866,
title = {Tele-Aloha: A Low-budget and High-authenticity Telepresence System Using Sparse RGB Cameras},
author = {Hanzhang Tu and Ruizhi Shao and Xue Dong and Shunyuan Zheng and Hao Zhang and Lili Chen and Meili Wang and Wenyu Li and Siyan Ma and Shengping Zhang and Boyao Zhou and Yebin Liu},
journal= {arXiv preprint arXiv:2405.14866},
year = {2024}
}
备注
Paper accepted by SIGGRAPH 2024. Project page: http://118.178.32.38/c/Tele-Aloha/