一种新的HOPE：领域无关的文本分块自动评估
计算与语言
2025-05-06 v1 人工智能
摘要
文档分块通过决定源材料在索引前如何分割，从根本上影响检索增强生成（RAG）。尽管有证据表明大语言模型（LLMs）对检索数据的布局和结构敏感，但目前尚无框架来分析不同分块方法的影响。本文中，我们引入了一种新颖的方法论，在三个层面定义了分块过程的基本特征：内在段落属性、外在段落属性以及段落-文档一致性。我们提出了HOPE（整体段落评估），一种领域无关的自动评估指标，用于量化和聚合这些特征。我们跨七个领域的实证评估表明，HOPE指标与各种RAG性能指标显著相关（p > 0.13），揭示了段落外在和内在属性重要性之间的对比。段落间的语义独立性对系统性能至关重要，在事实正确性上性能提升高达56.2%，在答案正确性上提升21.1%。相反，关于在段落内保持概念统一性的传统假设影响甚微。这些发现为优化分块策略提供了可操作的见解，从而改进RAG系统设计以产生更事实正确的响应。
引用
@article{arxiv.2505.02171,
title = {A New HOPE: Domain-agnostic Automatic Evaluation of Text Chunking},
author = {Henrik Brådland and Morten Goodwin and Per-Arne Andersen and Alexander S. Nossum and Aditya Gupta},
journal= {arXiv preprint arXiv:2505.02171},
year = {2025}
}
备注
10 pages, To be published in SIGIR25