超越全局对齐：基于金字塔Shapley-Taylor学习的细粒度运动语言检索
计算机视觉与模式识别
2026-02-05 v3
摘要
作为人类跨模态智能的基础任务，运动语言检索旨在在自然语言和人类运动之间建立语义联系，实现直观的运动分析，但现有方法主要聚焦于将整个运动序列与全局文本表示进行对齐。这种以全局为中心的范式忽略了局部运动片段与单个身体关节和文本标记之间的细粒度互动，必然导致检索性能次优。为此，我们借鉴人类运动感知的金字塔过程（从关节动态到片段一致性，最终到整体理解），提出一种 novel 的 Pyramidal Shapley-Taylor (PST) 学习框架，用于细粒度运动语言检索。具体而言，该框架将人类运动分解为时间片段和空间身体关节，通过以金字塔方式进行的关节级和片段级对齐来学习跨模态对应关系，有效捕获局部语义细节和层次结构关系。在多个公开基准数据集上的广泛实验表明，我们的方法显著优于当前最先进的方法，实现了运动片段与身体关节及其对应文本标记之间的精确对齐。本文代码将在接受后公开。
引用
@article{arxiv.2601.21904,
title = {Beyond Global Alignment: Fine-Grained Motion-Language Retrieval via Pyramidal Shapley-Taylor Learning},
author = {Hanmo Chen and Guangtao Lyu and Chenghao Xu and Jiexi Yan and Xu Yang and Cheng Deng},
journal= {arXiv preprint arXiv:2601.21904},
year = {2026}
}