面向可靠问答的分块策略系统分析
计算与语言
2026-01-21 v1 信息检索
摘要
我们研究了文档分块选择如何影响工业界检索增强生成（RAG）系统的可靠性。虽然实践常依赖启发式方法，但我们在Natural Questions数据集上的端到端评估系统地改变了分块方法（token、句子、语义、代码）、块大小、重叠和上下文长度。我们使用标准的工业设置：SPLADE检索和Mistral-8B生成器。我们得出了具有成本效益部署的可操作经验：（i）重叠没有可测量的益处，且会增加索引成本；（ii）句子分块是最具成本效益的方法，在约5k token内与语义分块效果相当；（iii）存在一个“上下文悬崖”，超过约2.5k token后质量会下降；（iv）最优上下文取决于目标（语义质量在较小上下文时达到峰值；精确匹配在较大上下文时达到峰值）。
引用
@article{arxiv.2601.14123,
title = {A Systematic Analysis of Chunking Strategies for Reliable Question Answering},
author = {Sofia Bennani and Charles Moslonka},
journal= {arXiv preprint arXiv:2601.14123},
year = {2026}
}
备注
3 pages, 2 figures, 1 table, pre-print