面向匹配的乘积量化用于即席检索
计算与语言
2021-09-14 v3 信息检索
摘要
乘积量化（Product quantization, PQ）是一种广泛用于即席检索的技术。近期研究提出了有监督PQ，其中嵌入和量化模型可通过监督学习联合训练。然而，缺乏恰当的联合训练目标形式化；因此，相较于以往无监督基线，实际改进有限。本工作中，我们提出面向匹配的乘积量化（Matching-oriented Product Quantization, MoPQ），并形式化了一种新颖的目标——多努利对比损失（Multinoulli Contrastive Loss, MCL）。通过最小化MCL，我们能够最大化查询与真实键的匹配概率，从而有助于最优检索精度。鉴于MCL的精确计算因需要大量对比样本而难以处理，我们进一步提出可微分跨设备采样（Differentiable Cross-device Sampling, DCS），其显著扩充了对比样本以精确近似MCL。我们在四个真实世界数据集上进行了广泛的实验研究，结果验证了MoPQ的有效性。代码可在 https://github.com/microsoft/MoPQ 获取。
引用
@article{arxiv.2104.07858,
title = {Matching-oriented Product Quantization For Ad-hoc Retrieval},
author = {Shitao Xiao and Zheng Liu and Yingxia Shao and Defu Lian and Xing Xie},
journal= {arXiv preprint arXiv:2104.07858},
year = {2021}
}
备注
Accepted by EMNLP2021