群体智慧：用于早期动作预测的时间渐进注意力
计算机视觉与模式识别
2023-04-04 v2
摘要
早期动作预测旨在根据部分观测的视频（通常在视频开头）推断正在进行的动作。我们提出了一种基于瓶颈的注意力模型，通过对细到粗尺度上的渐进采样来捕捉动作的演化。我们提出的时间渐进（TemPr）模型由多个注意力塔组成，每个尺度对应一个塔。预测的动作标签基于考虑这些塔置信度的集体一致意见。在四个视频数据集上的大量实验展示了在多种编码器架构下早期动作预测任务上的最先进性能。我们通过详细的消融实验证明了 TemPr 的有效性与一致性。
引用
@article{arxiv.2204.13340,
title = {The Wisdom of Crowds: Temporal Progressive Attention for Early Action Prediction},
author = {Alexandros Stergiou and Dima Damen},
journal= {arXiv preprint arXiv:2204.13340},
year = {2023}
}
备注
Accepted at IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2023