以人为中心视频中基于知识引导的短上下文动作预测
计算机视觉与模式识别
2023-09-13 v1 人工智能
摘要
本工作关注长期人类动作预测，特别是利用短视频片段进行预测，这可通过改进建议来加速编辑工作流，并通过叙述建议激发创造力。为此，我们在运行时增强transformer网络注意力机制的某些方面，将符号知识图谱注入该网络，用于视频片段中的动作预测。在两个基准数据集Breakfast和50Salads上的结果表明，我们使用短视频上下文的长期动作预测方法优于当前最先进（SOTA）方法达9%。
引用
@article{arxiv.2309.05943,
title = {Knowledge-Guided Short-Context Action Anticipation in Human-Centric Videos},
author = {Sarthak Bhagat and Simon Stepputtis and Joseph Campbell and Katia Sycara},
journal= {arXiv preprint arXiv:2309.05943},
year = {2023}
}
备注
ICCV 2023 Workshop on AI for Creative Video Editing and Understanding