Thing2Reality：将2D内容转化为条件多视图和3D高斯用于XR通信
人机交互
2024-10-10 v1 人工智能
计算机视觉与模式识别
摘要
在远程通信过程中，参与者经常共享数字和物理内容，如产品设计、数字资产和环境，以增强相互理解。增强通信技术的最新进展使用户能够快速从视频流中创建和共享物理对象的2D数字副本到共享空间。然而，传统的2D数字表示限制了用户在共享沉浸式环境中对物品进行空间引用的能力。为解决此问题，我们提出了Thing2Reality，一个扩展现实（XR）通信平台，可增强远程会话中对数字和物理内容的即时讨论。借助Thing2Reality，用户可以快速将想法或物理对象物化为沉浸式环境中的实体，并将其作为条件多视图渲染或3D高斯表示进行共享。Thing2Reality使用户能够以协作方式与远程对象交互或讨论概念。我们的用户研究表明，与对象的3D表示进行交互和操作的能力显著提高了讨论效率，并有望增强对2D内容的讨论。
引用
@article{arxiv.2410.07119,
title = {Thing2Reality: Transforming 2D Content into Conditioned Multiviews and 3D Gaussian Objects for XR Communication},
author = {Erzhen Hu and Mingyi Li and Jungtaek Hong and Xun Qian and Alex Olwal and David Kim and Seongkook Heo and Ruofei Du},
journal= {arXiv preprint arXiv:2410.07119},
year = {2024}
}
备注
18 pages (15 pages without references), 13 figures