探索面向推理-free稀疏检索器的$\ell_0$稀疏化

随着效率需求的不断提升，信息检索领域发展出一分支稀疏检索，进一步向推理-free检索方向发展，其中文档在索引时间进行编码，而查询无需进行模型推理。现有的稀疏检索模型依赖FLOPS正则化进行稀疏化，而该机制原本为双语编码器设计，被认为在推理-free场景下（其中存在不对称性）并不optimal。此前尝试将FLOPS适用于推理-free场景的工作仅限于基于规则的方法，留下了稀疏化方法在推理-free检索模型中潜力的探索空间。本文我们探索$\ell_0$激发的稀疏化方式，以实现推理-free检索器。通过在BEIR基准上进行全面超域评估，我们的方法在推理-free稀疏检索模型中实现了最先进的性能，并与领先的双语稀疏检索模型相当。此外，我们提供了检索有效性与计算效率之间的权衡见解，展示了其在实际应用中的实际价值。