通过解码时比较器改善大语言模型的事实性
摘要
尽管大型语言模型（LLMs）在 various 方面展现了惊人的能力，但它们仍然容易生成与可验证事实相矛盾的响应，即产生 unfaithful hallucination 内容。现有的做法 generally focus on optimizing model parameters 或 editing semantic representations，这些方法会 compromise 目标 LLMs 的 internal factual knowledge。此外，hallucinations 通常在 downstream 任务中呈现出多样化的模式，限制了模型在 various 任务中的 holistic performance。为此，我们提出了一种 Comparator-driven Decoding-Time（CDT）框架来 alleviate response hallucination。首先，我们通过 multi-task fine-tuning samples 构建 hallucinatory 和 truthful comparators。 In this case，我们 present an instruction prototype-guided mixture of experts strategy 来 enhance 相应 comparators 捕获不同 task instructions 中不同 hallucination 或 truthfulness 模式的能力。CDT 通过对比 target LLMs 与这些 comparators 的 logit 差异，将 next-token 预测约束在 factuality-robust distributions 上。针对 multiple downstream 任务进行 system 的实验表明，我们的框架显著 improve model performance 和 response factuality。
引用
@article{arxiv.2408.12325,
title = {Improving Factuality in Large Language Models via Decoding-Time Hallucinatory and Truthful Comparators},
author = {Dingkang Yang and Dongling Xiao and Jinjie Wei and Mingcheng Li and Zhaoyu Chen and Ke Li and Lihua Zhang},
journal= {arXiv preprint arXiv:2408.12325},
year = {2025}
}
备注
Accepted by AAAI 2025. We recommend reading this version as it contains more complete details than the camera ready version