面向Ego4D情景记忆挑战赛2023的动作敏感性学习
计算机视觉与模式识别
2023-09-26 v2
摘要
本报告介绍ReLER在CVPR 2023的Ego4D情景记忆基准中两个赛道（包括自然语言查询与时刻查询）的提交方案。该方案继承自我们提出的动作敏感性学习框架（ASL），以更好地捕捉帧间的差异信息。此外，我们引入了一系列更强的视频特征与融合策略。我们的方法取得了29.34的平均mAP，在时刻查询挑战赛中排名第1，并获得19.79的平均R1，在自然语言查询挑战赛中排名第2。我们的代码将公开。
引用
@article{arxiv.2306.09172,
title = {Action Sensitivity Learning for the Ego4D Episodic Memory Challenge 2023},
author = {Jiayi Shao and Xiaohan Wang and Ruijie Quan and Yi Yang},
journal= {arXiv preprint arXiv:2306.09172},
year = {2023}
}
备注
Accepted to CVPR 2023 Ego4D Workshop; 1st in Ego4D Moment Queries Challenge; 2nd in Ego4D Natural Language Queries Challenge