通过 Top-$k$ 掩码实现面向段落检索的稀疏表示稀疏化
微分几何
2022-01-10 v2 复变函数
摘要
稀疏词法表示学习在改进诸如 DeepImpact、uniCOIL 与 SPLADE 等近期模型的段落检索效果方面已取得诸多进展。本文描述了一种直接而有效的段落检索词法表示稀疏化方法，该方法基于 SPLADE，引入 top- 掩码机制以控制稀疏度，并采用自学习方法引导被掩码表示去模仿未掩码表示。我们模型的基础实现可与更复杂的方法竞争，并在效果与效率间取得良好平衡。我们方法的简洁性为未来在段落检索词法表示学习上的探索打开了大门。
引用
@article{arxiv.2112.09627,
title = {Geodesic distance and Monge-Amp\`ere measures on contact sets},
author = {Eleonora Di Nezza and Chinh H. Lu},
journal= {arXiv preprint arXiv:2112.09627},
year = {2022}
}
备注
27 pages. In the second version we added Corollay 3.3