WindTunnel：面向大型语料库的社区感知采样框架
信息检索
2024-10-29 v1
摘要
进行全面的信息检索实验（例如搜索或检索增强生成）通常伴随着高昂的计算成本。这是因为评估检索算法需要对整个语料库进行索引，而语料库的规模远大于待评估的（查询，结果）对集合。这一问题在大数据和神经检索中尤为突出，因为索引过程变得越来越耗时且复杂。在本文中，我们提出了 WindTunnel，这是一个在 Yext 开发的新型框架，用于生成大型语料库的代表性样本，从而实现高效的端到端信息检索实验。通过保留数据集的社区结构，WindTunnel 克服了当前采样方法的局限性，提供了更准确的评估。
引用
@article{arxiv.2410.20301,
title = {WindTunnel -- A Framework for Community Aware Sampling of Large Corpora},
author = {Michael Iannelli},
journal= {arXiv preprint arXiv:2410.20301},
year = {2024}
}