AnyMo：野生人体运动的几何感知、无设备依赖建模
计算机视觉与模式识别
2026-05-26 v2 人工智能
计算与语言
人机交互
摘要
随着可穿戴和移动设备在日常生活中日益嵌入，它们提供了一种实用的持续感知野生人体运动的方式。但惯性信号高度依赖于感知 setup，包括身体位置、安装位置、传感器方向、设备硬件以及采样协议。这种 setup 依赖性使学习跨设备和数据集之间可迁移的运动表示变得困难，并限制了可穿戴 IMU 在封闭集识别之外的更广泛用途。我们引入 AnyMo，一个面向 setup-agnostic 人体运动建模的几何感知框架。AnyMo 使用基于物理的 IMU 模拟在密集身体表面布置上生成多样且合理的合成信号，预训练来自成对合成布置视图和掩码部分观察的图编码器，将多位置 IMU 标记化为完整的人体运动标记，并与 LLM 对齐以实现运动-语言理解。我们在三个互补任务上评估 AnyMo：跨 14 个不可见下游数据集的零样本活动识别、跨模态检索和可穿戴 IMU 运动描述，其中在 HAR、IMU-文本和文本-IMU 检索 MRR 以及零样本描述 BERT-F1 上分别提升了 11.7%/11.6%/22.6%、15.9%/28.6% 和 18.8%。这些结果支持 AnyMo 作为野生可穿戴运动理解的通用模型。项目页面：https://baiyuchen.com/project/AnyMo。
引用
@article{arxiv.2605.22715,
title = {AnyMo: Geometry-Aware Setup-Agnostic Modeling of Human Motion in the Wild},
author = {Baiyu Chen and Zechen Li and Wilson Wongso and Lihuan Li and Xiachong Lin and Hao Xue and Benjamin Tag and Flora Salim},
journal= {arXiv preprint arXiv:2605.22715},
year = {2026}
}