利用语义角色上下文化视频特征进行多实例文本-视频检索：EPIC-KITCHENS-100 多实例检索挑战赛 2022
计算机视觉与模式识别
2023-09-27 v2 信息检索
机器学习
摘要
在本报告中，我们介绍了针对 EPIC-KITCHENS-100 多实例检索挑战赛 2022 的方法。我们首先将句子解析为对应于动词和名词的语义角色；然后利用自注意力，通过三元组损失在多个嵌入空间中利用语义角色上下文化的视频特征与文本特征。我们的方法在归一化折损累计增益（nDCG）上超越了强基线，而 nDCG 对于语义相似性更有价值。我们的提交在 nDCG 上排名第 3，在 mAP 上排名第 4。
引用
@article{arxiv.2206.14381,
title = {Exploiting Semantic Role Contextualized Video Features for Multi-Instance Text-Video Retrieval EPIC-KITCHENS-100 Multi-Instance Retrieval Challenge 2022},
author = {Burak Satar and Hongyuan Zhu and Hanwang Zhang and Joo Hwee Lim},
journal= {arXiv preprint arXiv:2206.14381},
year = {2023}
}
备注
Ranked joint 3rd place in the Multi-Instance Retrieval Challenge at EPIC@CVPR2022. (v2: ref error is corrected)