面向可扩展多跳解释再生的混合自回归推理

在科学领域再生自然语言解释已被提出作为评估复杂多跳与可解释推理的基准。在此背景下，大语言模型(LLM)作为交叉编码器(cross-encoder)架构并在人类标注解释上微调时可达到最先进(state-of-the-art, SOTA)性能。然而，尽管大量关注集中于解释质量，高效执行推理的问题在很大程度上未被充分研究。事实上，交叉编码器本质上不可扩展，对需要在海量事实库上进行推理的真实场景适用性有限。为支持大规模复杂多跳推理，本文关注双编码器(bi-encoder)架构，研究稠密与稀疏模型交叉处的科学解释再生问题。具体而言，我们提出 SCAR（即可扩展自回归推理，Scalable Autoregressive Inference），一种混合框架，迭代地将基于 Transformer 的双编码器与具有解释力的稀疏模型相结合，旨在利用解释中的显式推理模式。我们的实验表明，该混合框架显著优于先前的稀疏模型，取得与最先进交叉编码器相当的性能，同时快约 50 倍且可扩展至数百万事实的语料。关于语义漂移和多跳问答的进一步分析揭示，所提出的混合化提升了最具挑战性解释的质量，有助于下游推理任务性能的提升。