Mojito：基于大语言模型的带抖动降低惯性令牌运动指导器
计算机视觉与模式识别
2025-02-25 v1 人工智能
图形学
摘要
人体运动传递关于行动意图和认知过程的关键信息，但现有多模态系统主要聚焦于通过语言、视觉和音频理解人类运动，难以捕捉3D运动中所蕴含的动态力和扭矩。惯性测量单元( IMU )作为一种有前景的替代方案，提供了轻便、可穿戴且具有隐私保护意义的运动感知能力。然而，流式 IMU 数据处理面临无线传输不稳定、传感器噪声和漂移等挑战，限制了其用于长期实时运动捕获( MoCap )以及更重要的在线运动分析。为此，我们提出Mojito——一种将惯性感知与大语言模型( LLM )集成，以实现交互式运动捕获和行为分析的智能运动代理。
引用
@article{arxiv.2502.16175,
title = {Mojito: LLM-Aided Motion Instructor with Jitter-Reduced Inertial Tokens},
author = {Ziwei Shan and Yaoyu He and Chengfeng Zhao and Jiashen Du and Jingyan Zhang and Qixuan Zhang and Jingyi Yu and Lan Xu},
journal= {arXiv preprint arXiv:2502.16175},
year = {2025}
}
备注
First three authors contribute equally. Project page: https://koyui.github.io/mojito/