在决策融合中对“类量子干涉”的利用以排序多模态文档
信息检索
2018-11-29 v1
摘要
融合与排序多模态信息始终是一项具挑战性的任务。鲁棒的决策级融合方法不仅应动态自适应地为各表示分配权重，还应纳入不同模态间的相互关系。本文提出一种量子启发的模型，用于融合与排序视觉与文本信息，并考虑上述模态间的依赖性。首先，我们分别计算基于文本与基于图像的相似度。计算各单模态相似度采用了两种不同方法。第一种利用词袋模型。第二种使用在 ImageNet 上预训练的 VGG19 模型计算图像相似度，同时对基于文本的查询应用查询扩展方法以改善检索性能。随后，局部相似度分数适配所提出的量子启发模型。两模态间的相互依赖通过“量子干涉”隐式捕获。最后，基于所提相似度度量对文档排序。我们在 ImageCLEF2007photo 数据集上测试了该方法并展示了其有效性。文中讨论了一系列有趣发现，可为该方向未来发展提供理论与实证基础。
引用
@article{arxiv.1811.11422,
title = {Exploiting "Quantum-like Interference" in Decision Fusion for Ranking Multimodal Documents},
author = {Dimitris Gkoumas and Dawei Sogn},
journal= {arXiv preprint arXiv:1811.11422},
year = {2018}
}