文本-视频检索中单查询后处理的Sinkhorn变换
计算与语言
2023-11-15 v1
摘要
多模态检索近期的一个趋势是通过对偶softmax损失(DSL)对测试集结果进行后处理。虽然该方法能带来显著改进，它通常假定作为DSL输入的整个测试样本矩阵可用。本文引入一种基于Sinkhorn变换的新的后处理方法，其优于DSL。此外，我们提出一种不需要访问多个测试查询的新后处理设定。我们表明，我们的方法能显著改进CLIP4Clip、BLIP、X-CLIP和DRL等最先进模型的结果，从而在有整个测试集可用以及单查询设定下，均在多个标准文本-视频检索数据集上达到新的最先进水平。
引用
@article{arxiv.2311.08143,
title = {Sinkhorn Transformations for Single-Query Postprocessing in Text-Video Retrieval},
author = {Konstantin Yakovlev and Gregory Polyakov and Ilseyar Alimova and Alexander Podolskiy and Andrey Bout and Sergey Nikolenko and Irina Piontkovskaya},
journal= {arXiv preprint arXiv:2311.08143},
year = {2023}
}
备注
SIGIR 2023