通过因果干预消除文本-视频检索中帧长偏差的去偏研究
计算机视觉与模式识别
2023-09-19 v1 信息检索
多媒体
摘要
许多研究聚焦于改进文本-视频检索中的预训练或开发新骨干网络。然而，正如近期其他文本-视频相关任务的研究所指出的，现有方法可能受到学习与推理偏差问题的影响。例如，动作识别中的空间外观特征或视频场景图生成中的时序物体共现可能引发虚假关联。本工作中，我们针对裁剪视频片段的训练集与测试集之间因帧长差异导致的时间偏差，提出了一项独特且系统的研究，据我们所知，这是文本-视频检索任务中的首次此类尝试。我们首先假设并验证了该偏差如何影响模型，并通过基线研究加以说明。随后，我们提出一种因果去偏方法，并在Epic-Kitchens-100、YouCook2与MSR-VTT数据集上进行了大量实验与消融研究。我们的模型在nDCG（一种聚焦于语义相关性的评估指标）上超越了基线与SOTA，证明了偏差得到缓解，同时在其他常规指标上也表现更优。
引用
@article{arxiv.2309.09311,
title = {Towards Debiasing Frame Length Bias in Text-Video Retrieval via Causal Intervention},
author = {Burak Satar and Hongyuan Zhu and Hanwang Zhang and Joo Hwee Lim},
journal= {arXiv preprint arXiv:2309.09311},
year = {2023}
}
备注
Accepted by the British Machine Vision Conference (BMVC) 2023. Project Page: https://buraksatar.github.io/FrameLengthBias