ASSIST：用于可扩展且逼真室内模拟的交互式场景节点
计算机视觉与模式识别
2023-11-13 v1 机器人学
摘要
我们提出 ASSIST，一种以对象为单位的神经辐射场作为全景表示，用于组合式且逼真的模拟。我们方法的核心是一种新颖的场景节点数据结构，它以统一方式存储每个对象的信息，允许在场景内和跨场景设置中进行在线交互。通过结合可微分神经网络以及相关的边界框与语义特征，所提出的结构保证了在独立对象上用户友好的交互，以扩展新视角模拟。场景中的对象可简单地通过鼠标/键盘控制或语言指令进行查询、添加、复制、删除、变换或替换。实验证明了所提方法的有效性，其中可通过交互式编辑与组合式渲染实现可扩展的逼真模拟，并以 3D 一致的方式生成彩色图像、深度图像和全景分割掩码。
引用
@article{arxiv.2311.06211,
title = {ASSIST: Interactive Scene Nodes for Scalable and Realistic Indoor Simulation},
author = {Zhide Zhong and Jiakai Cao and Songen Gu and Sirui Xie and Weibo Gao and Liyi Luo and Zike Yan and Hao Zhao and Guyue Zhou},
journal= {arXiv preprint arXiv:2311.06211},
year = {2023}
}