基于文档标识符标记logits的联合生成与归因答案
计算与语言
2025-08-13 v1 信息检索
摘要
尽管其卓越的性能令人印象深刻，大型语言模型（LLM）仍容易产生幻觉，这严重削弱了其可信度。虽然大多数前期工作聚焦于解决答案和归因的正确性，但近期的一线研究则着眼于可信度，旨在利用模型内部信号来反映模型在生成答案时的实际决策过程。然而，这些方法会引入额外的延迟，且在直接将token生成与归因生成对齐方面存在局限。本文引入了LoDIT方法，利用特定token的logits在生成过程中的值，实现对答案的联合生成与忠实归因。其包含两个步骤：（1）使用特定token标识符标记文档，然后利用这些token的logits估计每个文档对答案的贡献；（2）将这些贡献聚合为文档归因。针对以可信度为导向的归因文本生成基准Trust-Align上的实验结果表明，LoDIT在多个指标上显著优于最先进的模型。最终，对LoDIT的深入分析显示，其在延迟效率和不同设置下的鲁棒性方面均表现出色。
引用
@article{arxiv.2508.08942,
title = {Jointly Generating and Attributing Answers using Logits of Document-Identifier Tokens},
author = {Lucas Albarede and Jose Moreno and Lynda Tamine and Luce Lefeuvre},
journal= {arXiv preprint arXiv:2508.08942},
year = {2025}
}