探究状态空间模型中文档的可合并性
计算与语言
2026-02-02 v2 计算工程、金融与科学
机器学习
摘要
我们研究了结构化状态空间模型的隐藏状态是否可以事后合并以支持下游推理。受模型合并启发，我们研究了文档合并，这是一种将文档独立编码，并通过平均等简单操作将其表示汇聚为单一上下文状态的策略。这种方法实现了模块化编码和重用，而无需为每个查询重新处理完整输入。我们证明，具有合并表示的微调Mamba2模型在多跳问答、稀疏检索和长文档推理任务中，与标准的单体编码方法相比，取得了具有竞争力或更优的性能。例如，在用于长文档问答的RACE和QuALITY基准测试中，该方法显著优于传统的拼接方法。至关重要的是，这种模块化设计可扩展到数百个文档，同时在推理成本上带来大幅节省，为大规模语料库推理解锁了新的可能性。
引用
@article{arxiv.2505.24033,
title = {Studying the Soupability of Documents in State Space Models},
author = {Yasaman Jafari and Zixian Wang and Leon Bergen and Taylor Berg-Kirkpatrick},
journal= {arXiv preprint arXiv:2505.24033},
year = {2026}
}