UNIK：一种面向真实世界基于骨架的动作识别的统一框架
计算机视觉与模式识别
2021-07-20 v1
摘要
基于骨架数据的动作识别近来受到日益增加的关注与进展。采用图卷积网络（GCNs）的最先进方法可依赖预定义的人体拓扑有效提取人体骨架上的特征。尽管取得相关进展，基于 GCN 的方法难以跨域泛化，尤其在具有不同人体拓扑结构时。在此背景下，我们引入 UNIK，一种新颖的基于骨架的动作识别方法，其不仅能有效学习人体骨架序列上的时空特征，还能跨数据集泛化。这是通过基于多头注意力机制从均匀分布学习最优依赖矩阵实现的。随后，为研究真实世界视频中基于骨架的动作识别的跨域泛化能力，我们依据新颖的 Posetics 数据集重新评估了最先进方法及所提 UNIK。该数据集通过估计、精炼与过滤姿态从 Kinetics-400 视频创建。我们提供了在 Posetics 上预训练后，较小基准数据集上动作分类任务性能提升多少的分析。实验结果表明，所提 UNIK 在 Posetics 上预训练后泛化良好，并在迁移到四个目标动作分类数据集——Toyota Smarthome、Penn Action、NTU-RGB+D 60 与 NTU-RGB+D 120 时优于最先进方法。
引用
@article{arxiv.2107.08580,
title = {UNIK: A Unified Framework for Real-world Skeleton-based Action Recognition},
author = {Di Yang and Yaohui Wang and Antitza Dantcheva and Lorenzo Garattoni and Gianpiero Francesca and Francois Bremond},
journal= {arXiv preprint arXiv:2107.08580},
year = {2021}
}
备注
Code is available at: https://github.com/YangDi666/UNIK