Retrievit：变换器、状态空间模型与混合架构的类比检索能力
人工智能
2026-03-04 v1
摘要
变换器在类比检索方面表现出色，但因序列长度呈二次复杂度而受限；而状态空间模型（SSM）提供高效的线性时间处理，却在检索能力上受限。我们探讨了将变换器与 SSM 混合的架构是否能实现两者的优势，针对两个合成类比检索任务进行测试。第一个任务为 n-gram 检索，需要模型识别并复现查询在输入序列中后继的 n-gram。第二个任务为位置检索，模型仅给定查询 token，需要执行两步关联查找：首先定位序列中的对应元素，然后输出其位置索引。在受控实验条件下，我们评估了数据效率、长度泛化、对域外训练样本的鲁棒性以及各类架构的学习表示。我们发现，混合模型在信息密集型上下文检索中的数据效率和外推方面超越 SSM 并与变换器相当，但在位置检索任务中仍不及变换器。通过表示分析，我们发现 SSM 模型发展出局部感知嵌入，其中表示相邻位置的 token 在嵌入空间中成为邻居，形成可解释的结构。这一现象在变换器中不存在，解释了 SSM 和混合模型在不同检索任务中的优势与局限。我们的发现为基于任务需求的架构选择提供了原则性指导，并揭示了变换器、SSM 及混合模型在位置关联学习中的根本差异。
引用
@article{arxiv.2603.02874,
title = {Retrievit: In-context Retrieval Capabilities of Transformers, State Space Models, and Hybrid Architectures},
author = {Georgios Pantazopoulos and Malvina Nikandrou and Ioannis Konstas and Alessandro Suglia},
journal= {arXiv preprint arXiv:2603.02874},
year = {2026}
}