在检索增强生成背景下使用原子事实蕴含度量衡量文本摘要事实性
计算与语言
2024-08-28 v1
摘要
自2022年ChatGPT问世以来，大型语言模型（LLMs）的使用显著增加，展示了它们在各种应用中的价值。然而，LLMs在企业及商业应用中的一个主要挑战是其倾向于生成不准确的信息，这种现象被称为“幻觉”。本项目提出了一种方法，用于估计LLMs生成的摘要与源文本相比的事实性。我们的方法利用朴素贝叶斯分类来评估所生成内容的准确性。
引用
@article{arxiv.2408.15171,
title = {Measuring text summarization factuality using atomic facts entailment metrics in the context of retrieval augmented generation},
author = {N. E. Kriman},
journal= {arXiv preprint arXiv:2408.15171},
year = {2024}
}
备注
12 pages