基于不监督骨架的时序动作分割的骨架运动词
计算机视觉与模式识别
2025-08-07 v1
摘要
当前用于骨架基时序动作分割的 state-of-the-art 方法主要是监督式的，require 标注数据，而这类数据收集成本较高。相比之下，现有的不监督时序动作分割方法主要关注视频数据，而骨架序列则鲜有探索，尽管其 relevance 到 实际应用、鲁棒性和隐私保护方面。本文提出了一种 novel 方法，用于不监督骨架基时序动作分割。我们的方法利用序列到序列时序自编码器，保持不同关节信息在 embedding 空间中被解耦。随后，Latent 骨架序列被划分为非重叠的 patch 并量化，以获得 distinctive 骨架运动词，从而驱动语义有意义的动作 cluster 的发现。我们在三个广泛使用的骨架基数据集上进行了彻底评估，即 HuGaDB、LARa 和 BABEL。结果表明，我们的方法在当前最先进的不监督时序动作分割方法上实现了优异的性能。代码可在 https://github.com/bachlab/SMQ 获取。
引用
@article{arxiv.2508.04513,
title = {Skeleton Motion Words for Unsupervised Skeleton-Based Temporal Action Segmentation},
author = {Uzay Gökay and Federico Spurio and Dominik R. Bach and Juergen Gall},
journal= {arXiv preprint arXiv:2508.04513},
year = {2025}
}
备注
Accepted to ICCV2025