BagFormer：通过袋式交互实现更优跨模态检索
信息检索
2023-01-02 v1 人工智能
多媒体
摘要
在跨模态检索领域，单编码器模型往往优于双编码器模型，但其延迟高、吞吐量低。本文提出一种称为 BagFormer 的双编码器模型，其利用跨模态交互机制在不牺牲延迟与吞吐量的前提下提升召回性能。BagFormer 通过袋式交互（bag-wise interactions）实现这一点，该机制可将文本转换为更合适的粒度，并将实体知识融入模型。我们的实验表明，BagFormer 在跨模态检索任务中能够达到与 SOTA 单编码器模型相当的结果，同时提供高效训练与推理，延迟降低 20.72 倍，吞吐量提高 25.74 倍。
引用
@article{arxiv.2212.14322,
title = {BagFormer: Better Cross-Modal Retrieval via bag-wise interaction},
author = {Haowen Hou and Xiaopeng Yan and Yigeng Zhang and Fengzong Lian and Zhanhui Kang},
journal= {arXiv preprint arXiv:2212.14322},
year = {2023}
}
备注
8 pages, 4 figures, 4 tables