无眼观察：从可穿戴 IMU 重建人物-场景 4D 理解
计算机视觉与模式识别
2026-04-24 v1
摘要
理解人类活动及其周围环境通常依赖视觉感知，但摄像头在隐私、安全、能源效率和可扩展性方面存在持续性挑战。我们探索一种替代方案：无视觉的 4D 感知。其目标是仅从日常可穿戴传感器重建人类运动和 3D 场景布局。为此，我们提出 IMU-to-4D 框架，将大语言模型用于非视觉的人物-场景动态的时空理解。IMU-to-4D 使用来自耳机、手表或智能手机的少量惯性传感器数据，预测详细的人体运动以及粗糙的场景结构。跨多样化人物-场景数据集的实验表明，IMU-to-4D 相较于当前最先进的级联管线，结果更连贯且在时间上更稳定，表明可穿戴运动传感器alone 即可支持丰富的 4D 理解。
引用
@article{arxiv.2604.21926,
title = {Seeing Without Eyes: 4D Human-Scene Understanding from Wearable IMUs},
author = {Hao-Yu Hsu and Tianhang Cheng and Jing Wen and Alexander G. Schwing and Shenlong Wang},
journal= {arXiv preprint arXiv:2604.21926},
year = {2026}
}
备注
Project page: https://tianhang-cheng.github.io/IMU4D