动作基元：人体运动的自监督层次化表征
计算机视觉与模式识别
2026-05-01 v1
摘要
有效的人体行为建模需要一种能够利用其组合性的人体运动表征。我们提出了一种层次化表征，它由捕捉原子级关节运动的“动作原子”和由这些动作原子的时序组合构成、并编码了在不同整体人体动作中发现的相似身体运动的“动作基元”组成。我们推导出 A4Mer，一种嵌套的潜在 Transformer，以完全自监督的方式从人体姿态数据中学习这种层次化表征。A4Mer 将 3D 姿态序列分割为可变长度的片段，并将每个片段表征为单个潜在令牌（动作原子）。通过自底向上的表征学习，由这些动作原子组成的时序模式自然涌现（动作基元），这些模式捕捉了可复用的、语义化的身体运动片段的有意义的时间跨度。A4Mer 通过在各自潜在空间中进行掩码令牌预测的统一前置任务来实现这一点。我们还引入了动作基元数据集 (AMD)，这是一个具有完整 SMPL 标注的大规模多视角人体行为视频数据集。我们通过将摄像头安装在脚上，实现了在频繁且严重的身体遮挡情况下逐帧标注的新颖用法。实验结果证明了 A4Mer 在提取有意义的动作基元方面的有效性，这些基元显著有益于人体行为建模任务，包括动作识别、运动预测和运动插值。
引用
@article{arxiv.2604.28173,
title = {Action Motifs: Self-Supervised Hierarchical Representation of Human Body Movements},
author = {Genki Kinoshita and Shu Nakamura and Ryo Kawahara and Shohei Nobuhara and Yasutomo Kawanishi and Ko Nishino},
journal= {arXiv preprint arXiv:2604.28173},
year = {2026}
}
备注
to be published in CVPR 2026 (Highlight)