跨多个视频数据集的动作类别关系检测与分类
计算机视觉与模式识别
2023-08-22 v1 人工智能
摘要
Meta Video Dataset（MetaVD）提供了主要人体动作识别视频数据集中动作类别之间带标注的关系。尽管这些标注关系支持数据集增强，但仅适用于被 MetaVD 覆盖的数据集。为使外部数据集享有同等收益，需确定其动作类别与 MetaVD 中类别的关系。为解决此问题，我们考虑两个新的机器学习任务：动作类别关系检测与分类。我们提出一个统一模型，利用与类别相关的语言与视觉信息预测动作类别间的关系。实验结果表明：(i) 近期预训练的文本与视频神经网络模型有助于获得高预测性能；(ii) 基于动作标签文本的关系预测比基于视频的更准确；(iii) 结合两种模态预测的融合方法在某些情况下可进一步提升预测性能。
引用
@article{arxiv.2308.07558,
title = {Action Class Relation Detection and Classification Across Multiple Video Datasets},
author = {Yuya Yoshikawa and Yutaro Shigeto and Masashi Shimbo and Akikazu Takeuchi},
journal= {arXiv preprint arXiv:2308.07558},
year = {2023}
}
备注
Accepted to Pattern Recognition Letters. 12 pages, 4 figures