ITEM：面向娱乐和会议的沉浸式远程呈现——一种实用方法
多媒体
2015-06-22 v1
摘要
本文介绍了一种用于娱乐和会议的沉浸式远程呈现系统（ITEM）。该系统旨在通过将参与者无缝融合到同一虚拟空间中，使他们之间以及与共享协作内容进行自然交互，从而提供一种全新的视频通信体验。为了使其成为可扩展、灵活的系统，适用于各种商业解决方案，并且易于被大众消费者访问，我们在设计和实现这样一个系统时解决了媒体处理、通信和显示整个流程中的挑战。特别地，在本文中，我们重点关注最大化最终用户体验、优化系统和网络资源以及实现各种远程沉浸式应用场景的系统方面。此外，我们还介绍了几项关键技术，即用于真实世界数据的快速基于对象的视频编码，以及用于群组电话会议的空间化音频捕获和3D声音定位。我们的工作是研究和优化关键系统组件，并通过考虑用户需求和偏好提供高效的端到端优化和集成。大量实验表明，所开发的系统在最小设置要求（例如网络摄像头和/或深度摄像头、可选麦克风阵列、连接到公共互联网的笔记本电脑/台式机）下实时可靠且舒适地运行，用于远程沉浸式通信。凭借如此最小的部署要求，我们展示了ITEM创造的多种有趣应用和用户体验。
引用
@article{arxiv.1408.0605,
title = {ITEM: Immersive Telepresence for Entertainment and Meetings - A Practical Approach},
author = {Viet-Anh Nguyen and Jiangbo Lu and Shengkui Zhao and Tien Dung Vu and Hongsheng Yang and Jones L. Douglas and Minh N. Do},
journal= {arXiv preprint arXiv:1408.0605},
year = {2015}
}