DnDScore：长文本生成中事实性验证的去上下文化与分解
计算与语言
2024-12-18 v1
摘要
用于验证大语言模型（LLM）生成内容的“先分解后验证”策略将声明分解，然后进行独立验证。去上下文化通过增强文本（声明）以确保其能在原始上下文之外被验证，从而实现可靠验证。尽管分解和去上下文化已被独立探讨，但它们在完整系统中的相互作用尚未被研究。它们相互冲突的目的会产生张力：分解旨在分离原子事实，而去上下文化则插入相关信息。此外，去上下文化后的子声明给验证步骤带来了挑战：由于增强后的文本现在包含多个原子事实，应验证其哪一部分？我们对不同的分解、去上下文化和验证策略进行了评估，发现策略的选择会影响最终的事实性得分。此外，我们引入了 DnDScore，一种感知去上下文化的验证方法，在上下文信息的语境中验证子声明。
引用
@article{arxiv.2412.13175,
title = {DnDScore: Decontextualization and Decomposition for Factuality Verification in Long-Form Text Generation},
author = {Miriam Wanner and Benjamin Van Durme and Mark Dredze},
journal= {arXiv preprint arXiv:2412.13175},
year = {2024}
}