重新思考长期动作预期的学习方法
计算机视觉与模式识别
2022-10-24 v1 机器学习
摘要
动作预期涉及在观测视频初始片段后预测未来动作。通常，观测视频被作为整体处理以获得视频中正在进行活动的视频级表示，然后用于未来预测。我们提出ANTICIPATR，它利用使用来自不同活动的个体片段学习的片段级表示以及视频级表示来执行长期动作预期。我们提出一种两阶段学习方法来训练一个基于transformer的新模型，该模型使用这两类表示直接预测任意给定预期时长上的一组未来动作实例。在Breakfast、50Salads、Epic-Kitchens-55和EGTEA Gaze+数据集上的结果证明了我们方法的有效性。
关键词
引用
@article{arxiv.2210.11566,
title = {Rethinking Learning Approaches for Long-Term Action Anticipation},
author = {Megha Nawhal and Akash Abdu Jyothi and Greg Mori},
journal= {arXiv preprint arXiv:2210.11566},
year = {2022}
}
备注
Accepted at ECCV'22. Project page: http://meghanawhal.github.io/projects/anticipatr.html