SA-DVAE：通过解耦变分自编码器提高零样本基于骨架的动作识别
计算机视觉与模式识别
2024-07-19 v1 机器学习
摘要
现有的零样本骨架-based 动作识别方法利用投影网络学习骨架特征和语义嵌入的共享潜在空间。由于动作识别数据集中特征序列可变但类别不变的固有不平衡，存在显著挑战。为解决此问题，我们提出了 SA-DVAE -- 语义对齐通过解耦变分自编码器，该方法首先采用特征解耦将骨架特征分为两个独立部分——一个与语义相关，另一个与无关——以更好地对齐骨架和语义特征。我们通过一对特定于模态的变分自编码器 coupled with 总体校正惩罚来实现这一想法。我们在三个基准数据集上进行实验：NTU RGB+D、NTU RGB+D 120 和 PKU-MMD，我们的实验结果显示 SA-DAVE 在现有方法上表现出 improved performance。代码可在 https://github.com/pha123661/SA-DVAE 获取。
引用
@article{arxiv.2407.13460,
title = {SA-DVAE: Improving Zero-Shot Skeleton-Based Action Recognition by Disentangled Variational Autoencoders},
author = {Sheng-Wei Li and Zi-Xiang Wei and Wei-Jie Chen and Yi-Hsin Yu and Chih-Yuan Yang and Jane Yung-jen Hsu},
journal= {arXiv preprint arXiv:2407.13460},
year = {2024}
}
备注
ECCV 2024