为视频动作识别开发运动码嵌入
计算机视觉与模式识别
2021-08-18 v1 人工智能
机器人学
摘要
本文提出一种称为运动码的运动嵌入策略，其基于操作的显著机械属性得到的向量化运动表示。这些运动码提供了鲁棒的运动表示，并通过称为运动分类法的特征层次结构获得。我们开发并训练了一个结合视觉与语义特征的深度神经网络模型，以识别运动分类法中的特征，从而用运动码嵌入或标注视频。为展示运动码作为机器学习任务特征的潜力，我们将运动嵌入模型提取的特征集成到当前 SOTA 动作识别模型中。所得模型在 EPIC-KITCHENS 数据集的第一人称视频动词分类任务上取得了高于基线模型的准确率。
引用
@article{arxiv.2012.05438,
title = {Developing Motion Code Embedding for Action Recognition in Videos},
author = {Maxat Alibayev and David Paulius and Yu Sun},
journal= {arXiv preprint arXiv:2012.05438},
year = {2021}
}
备注
Accepted by 25th International Conference on Pattern Recognition (ICPR2020)