面向 EGO4D STA 挑战的引导注意力下一活动物体预测
计算机视觉与模式识别
2023-10-05 v3
摘要
在本技术报告中，我们描述了一种基于引导注意力（Guided-Attention）机制的解决方案，用于 EGO4D 挑战中的短期预测（STA）任务。该方法结合了物体检测结果与从视频片段中提取的时空特征，增强了运动与上下文信息，并进一步解码以物体为中心和以运动为中心的信息，以解决第一人称视频中的 STA 问题。针对该挑战，我们在 StillFast 之上构建模型，并在快速网络上应用引导注意力。我们的模型在验证集上取得了更好的性能，并在 EGO4D 短期物体交互预测挑战的测试集上达到了最先进（SOTA）结果。
引用
@article{arxiv.2305.16066,
title = {Guided Attention for Next Active Object @ EGO4D STA Challenge},
author = {Sanket Thakur and Cigdem Beyan and Pietro Morerio and Vittorio Murino and Alessio Del Bue},
journal= {arXiv preprint arXiv:2305.16066},
year = {2023}
}
备注
Winner of CVPR@2023 Ego4D STA challenge. arXiv admin note: substantial text overlap with arXiv:2305.12953