PFME：面向大型语言模型的细粒度幻觉检测与编辑的模块化方法
计算与语言
2024-07-02 v1 人工智能
摘要
大型语言模型 (LLM) 在流畅性方面表现出色, 但存在产生不准确内容的风险, 即所谓的"幻觉"。本文阐述了对细粒度幻觉类型的标准化分类流程, 并提出一种创新框架——渐进式细粒度模型编辑器 (PFME), 专为检测和纠正 LLM 中的细粒度幻觉而设计。PFME 由两个协作模块组成: 实时事实检索模块和细粒度幻觉检测与编辑模块。前者识别文档中的关键实体并从可信来源检索最新事实证据。后者进一步将文档分割为句子级文本, 并根据相关证据和之前编辑的上下文, 识别、定位并编辑每个句子的幻觉类型。在 FavaBench 和 FActScore 上的实验结果表明, PFME 在细粒度幻觉检测任务中超越了现有方法。特别地, 当使用 Llama3-8B-Instruct 模型时, PFME 在细粒度幻觉检测任务中获得的性能提升了 8.7 个百分点, 相较于 ChatGPT。在编辑任务方面, PFME 进一步提升了 FActScore-Alpaca13B 和 FActScore-ChatGPT 数据集的 FActScore, 分别提高了 16.2 个百分点和 4.6 个百分点。
引用
@article{arxiv.2407.00488,
title = {PFME: A Modular Approach for Fine-grained Hallucination Detection and Editing of Large Language Models},
author = {Kunquan Deng and Zeyu Huang and Chen Li and Chenghua Lin and Min Gao and Wenge Rong},
journal= {arXiv preprint arXiv:2407.00488},
year = {2024}
}