用于骨骼少样本动作识别的时间-视角运输规划
计算机视觉与模式识别
2022-11-01 v1 人工智能
机器学习
摘要
我们提出了一种用于基于 3D 骨骼的动作识别的少样本学习流程，通过联合时间与时长相机视角对齐（JEANIE）实现。为消除查询与支持 3D 身体关节序列之间的错位，我们提出了动态时间规整的一种进阶变体，其联合建模查询帧与支持帧之间的各平滑路径，以在少样本训练数据有限的情况下实现时间空间与模拟相机视角空间中的最佳对齐用于端到端学习。序列由基于简单谱图卷积（一种轻量级线性图神经网络骨干）的时间块编码器编码。我们亦包含了带 transformer 的设置。最后，我们提出一种基于相似性的损失，其鼓励同类序列的对齐并阻止不相关序列的对齐。我们在 NTU-60、NTU-120、Kinetics-skeleton 与 UWA3D Multiview Activity II 上展示了最先进的结果。
引用
@article{arxiv.2210.16820,
title = {Temporal-Viewpoint Transportation Plan for Skeletal Few-shot Action Recognition},
author = {Lei Wang and Piotr Koniusz},
journal= {arXiv preprint arXiv:2210.16820},
year = {2022}
}
备注
Accepted as an oral paper at the 16th Asian Conference on Computer Vision (ACCV 2022). It extends our arXiv preprint arXiv:2112.12668 (2021)