基于 3D 骨架的小样本动作识别:JEANIE 联合时空与相机视角对齐方法并非 naive
计算机视觉与模式识别
2021-12-24 v1 人机交互
机器学习
摘要
在本文中,我们提出了一种用于基于 3D 骨架的动作识别的小样本学习流程,通过联合时间(joint temporal)与相机视角对齐(camera viewpoint alignment)(JEANIE)实现。为了消除查询与支持 3D 身体关节序列之间的错位,我们提出了动态时间规整的一种高级变体,该变体联合建模查询帧与支持帧之间的每条平滑路径,以在时间和模拟相机视角空间中同时实现最佳对齐,从而在有限的小样本训练数据下进行端到端学习。序列由基于简单谱图卷积的时间块编码器编码,简单谱图卷积是一种轻量级线性图神经网络骨干(我们也包含了使用 transformer 的设置)。最后,我们提出了一种基于相似性的损失,其鼓励同类序列的对齐,同时阻止不相关序列的对齐。我们在 NTU-60、NTU-120、Kinetics-skeleton 和 UWA3D Multiview Activity II 上展示了最先进的结果。
引用
@article{arxiv.2112.12668,
title = {3D Skeleton-based Few-shot Action Recognition with JEANIE is not so Na\"ive},
author = {Lei Wang and Jun Liu and Piotr Koniusz},
journal= {arXiv preprint arXiv:2112.12668},
year = {2021}
}
备注
Full 17 page version