可视化不可见之物：用于直观多模态传感器数据呈现的生成式AR系统
人机交互
2025-03-26 v2
摘要
由于传感器模态的复杂性和不同的语义含义，非专家人员理解传感器数据可能存在困难。这引发了对直观且有效的传感器信息呈现方法的需求。然而，创建直观的传感器数据可视化面临三个关键挑战：传感器读数的多变性、领域认知的差距以及传感器数据的动态特性。为了解决这些问题，我们提出了Vivar，一种集成多模态传感器数据并呈现3D体积内容以用于AR可视化的新型系统。具体而言，我们引入了一种跨模态嵌入方法，通过重心插值将传感器数据映射到预训练的视觉嵌入空间中。该方法准确反映了多模态传感器信息中的数值变化，确保传感器变化在可视化结果中得到正确展示。Vivar还利用基础模型和3D Gaussian Splatting（3DGS）实现了感知传感器的AR场景生成，且无需领域专业知识。此外，Vivar利用潜空间复用和缓存策略加速了2D和AR内容的生成，在不牺牲质量的前提下实现了11倍的延迟降低。一项包含503名参与者（含领域专家）的用户研究证明了Vivar在准确性、一致性和实际适用性方面的有效性，为更直观的传感器数据可视化铺平了道路。
引用
@article{arxiv.2412.13509,
title = {Visualizing the Invisible: A Generative AR System for Intuitive Multi-Modal Sensor Data Presentation},
author = {Yunqi Guo and Kaiyuan Hou and Heming Fu and Hongkai Chen and Zhenyu Yan and Guoliang Xing and Xiaofan Jiang},
journal= {arXiv preprint arXiv:2412.13509},
year = {2025}
}