从记号到概念：利用 SAE 进行 SPLADE
信息检索
2026-04-24 v1 计算与语言
摘要
学习稀疏 IR 模型（如 SPLADE）在效率与效果之间提供了优异的权衡。然而，它们依赖于底层词汇表，这可能限制性能（多义性和同义性），并对多语言和多模态用途构成挑战。为解决这一限制，我们提出用由稀疏自编码器 (SAE) 学习的语义概念潜在空间替换底层词汇表。本文研究了这些概念的兼容性，探索训练方法，并分析 SAE-SPLADE 模型与传统 SPLADE 模型之间的差异。我们的实验表明，SAE-SPLADE 在 both in-domain 和 out-of-domain 任务上实现了与 SPLADE 相当的检索性能，同时提供了改进的效率。
引用
@article{arxiv.2604.21511,
title = {From Tokens to Concepts: Leveraging SAE for SPLADE},
author = {Yuxuan Zong and Mathias Vast and Basile Van Cooten and Laure Soulier and Benjamin Piwowarski},
journal= {arXiv preprint arXiv:2604.21511},
year = {2026}
}
备注
11 pages, 3 figures, 9 tables. To appear at SIGIR 2025