Meet JEANIE：通过时间-视角对齐度量 3D 骨架序列相似度
摘要
视频序列表现出动作速度、时间位置和主体姿态的显著干扰变化（不受欢迎的效应），导致在比较两组帧或评估两个序列的相似度时出现时间-视角失准。因此，我们针对序列对提出了联合时间与相机视角对齐（JEANIE）。特别地，我们关注 3D 骨架序列，其相机和主体姿态可以在 3D 中轻松操纵。我们在骨架少样本动作识别（FSAR）上评估 JEANIE，其中由于新类别样本有限，良好匹配支持-查询序列对的时间块（构成序列的时间片段）（通过消除干扰变化）是至关重要的。给定一个查询序列，我们通过模拟多个相机位置来创建其多个视图。对于支持序列，我们将其与视图模拟的查询序列进行匹配，如同流行的动态时间规整（DTW）一样。具体而言，每个支持时间块可以与具有相同或相邻（下一个）时间索引的查询时间块以及相邻相机视图相匹配，以实现联合局部时间-视角规整。JEANIE 在具有不同时间-视角规整模式的匹配路径中选择最小距离，这优于仅执行时间对齐的 DTW。我们还提出了一种无监督 FSAR，类似于以 JEANIE 作为距离度量的序列聚类。JEANIE 在 NTU-60、NTU-120、Kinetics-skeleton 和 UWA3D Multiview Activity II 数据集上的监督和无监督 FSAR 及其受元学习启发的融合中取得了 SOTA 结果。
引用
@article{arxiv.2402.04599,
title = {Meet JEANIE: a Similarity Measure for 3D Skeleton Sequences via Temporal-Viewpoint Alignment},
author = {Lei Wang and Jun Liu and Liang Zheng and Tom Gedeon and Piotr Koniusz},
journal= {arXiv preprint arXiv:2402.04599},
year = {2024}
}
备注
Accepted by the International Journal of Computer Vision (IJCV). An extension of our ACCV'22 paper [arXiv:arXiv:2210.16820] which was distinguished by the Sang Uk Lee Best Student Paper Award