Truth-Aware Context Selection: 缓解被误导性上下文误导的大语言模型幻觉
计算与语言
2024-09-16 v4
摘要
尽管大型语言模型（LLM）在文本生成方面展现出惊人的能力，但它们容易被用户提供的或知识增强工具提供的不真实上下文所误导，从而导致幻觉现象。为缓解大语言模型被不真实上下文误导并发挥知识增强的作用，我们提出了Truth-Aware Context Selection（TACS），一种轻量级方法，用于自适应识别和掩码输入中的不真实上下文。TACS首先通过对输入上下文进行真实性检测，利用LLM内部的参数化知识。随后，根据每个位置的真实性构建相应的注意力掩码，以选择真实上下文并丢弃不真实上下文。此外，我们引入了新的评估指标——Disturbance Adaption Rate，以进一步研究大语言模型接受真实信息和抗拒不真实信息的能力。实验结果表明，TACS能够有效过滤不真实的上下文，并在面对误导性信息时显著提高大语言模型响应的整体质量。
引用
@article{arxiv.2403.07556,
title = {Truth-Aware Context Selection: Mitigating Hallucinations of Large Language Models Being Misled by Untruthful Contexts},
author = {Tian Yu and Shaolei Zhang and Yang Feng},
journal= {arXiv preprint arXiv:2403.07556},
year = {2024}
}
备注
Accepted to ACL 2024 Findings. Code is available at: https://github.com/ictnlp/TACS