WaMo：基于小波的多频率轨迹分析用于细粒度文本-动作检索
计算机视觉与模式识别
2025-08-06 v1
摘要
文本-动作检索(TMR)旨在检索与文本描述语义相关的3D动作序列。然而，3D动作与文本匹配极具挑战性，主要源于人体结构的复杂性及其时空动力学。现有方法常忽视这些复杂性，依赖通用编码方法无法区分不同身体部位及其动力学，限制了精确的语义对齐。为此，我们提出WaMo—a一种基于小波的多频率特征提取框架。它全面捕获部位特定和时变动作细节跨多个分辨率，在身体关节上提取判别性动作特征以实现细粒度文本对齐。WaMo包含三个关键组件：(1)轨迹小波分解将动作信号分解为保留局部运动细节和全局运作语义的频率分量；(2)轨迹小波重构使用可学习的逆小波变换从提取特征重建原始关节轨迹，确保保留关键时空信息；(3)无序动作序列预测重排被扰动的动作序列以提高对内在时序一致性的学习，增强动作-文本对齐。广泛实验表明，WaMo的卓越性，在HumanML3D和KIT-ML数据集上分别实现了17.0%和18.2%在Rsum上的提升，超越了现有最先进(SOTA)方法。
引用
@article{arxiv.2508.03343,
title = {WaMo: Wavelet-Enhanced Multi-Frequency Trajectory Analysis for Fine-Grained Text-Motion Retrieval},
author = {Junlong Ren and Gangjian Zhang and Honghao Fu and Pengcheng Wu and Hao Wang},
journal= {arXiv preprint arXiv:2508.03343},
year = {2025}
}