MICO:基于互信息协同训练的选择性搜索
信息检索
2023-03-21 v1 计算与语言
机器学习
机器学习
摘要
与传统穷举搜索不同,选择性搜索在查询对所有文档进行穷举搜索之前,先将文档聚类为若干组,以将搜索限制在一个组或仅少数组内执行。选择性搜索旨在降低现代大规模搜索系统中的延迟与计算量。在本研究中,我们提出 MICO,一种利用搜索日志以最小监督进行选择性搜索的互信息协同训练(Mutual Information CO-training)框架。训练后,MICO 不仅对文档聚类,还将未见查询路由至相关簇以实现高效检索。在我们的实证实验中,MICO 显著提升了选择性搜索多项指标的性能,并优于多个现有竞争性基线。
引用
@article{arxiv.2209.04378,
title = {MICO: Selective Search with Mutual Information Co-training},
author = {Zhanyu Wang and Xiao Zhang and Hyokun Yun and Choon Hui Teo and Trishul Chilimbi},
journal= {arXiv preprint arXiv:2209.04378},
year = {2023}
}