探索生成式检索中的训练与推理比例规律

生成式检索将检索任务重新定义为自回归生成任务，其中大型语言模型（LLM）直接从查询生成目标文档。作为一种新范式，其性能与可扩展性背后的机制仍大多未被探索。我们系统性地研究生成式检索中的训练与推理比例规律，探讨模型规模、训练数据规模以及推理计算资源如何共同影响性能。我们提出了一种受对比熵和生成损失启发的新型评估指标，提供连续的性能信号，使其能够在不同生成式检索方法之间进行稳健比较。我们的实验表明，n-gram 方法与训练与推理比例规律具有高度一致性。我们发现，模型规模、训练数据规模以及推理计算资源的增加都有助于性能提升，凸显了这些因素在增强生成式检索中所发挥的互补作用。在这些设置下，LLaMA 模型始终优于 T5 模型，表明在生成式检索中，较大的解码器模型具有特定优势。我们的发现表明，模型规模、数据可得性以及推理计算之间的相互作用，关键决定了生成式检索的潜力释放方式，为设计和优化未来系统提供了新见解。