FacTool：生成式AI中的事实性检测——一种面向多任务与多领域场景的工具增强框架
计算与语言
2023-07-27 v2 人工智能
摘要
生成式预训练模型的出现促进了高质量文本的合成，但也给识别生成文本中的事实错误带来了挑战。具体而言：（1）由生成模型处理的任务范围更广，面临包含事实错误的风险日益增加。（2）生成文本往往冗长，且缺乏针对单个事实的明确粒度定义。（3）在事实核查过程中可利用的显式证据稀缺。考虑到上述挑战，本文提出FacTool，一种与任务和领域无关的框架，用于检测大语言模型（如ChatGPT）生成文本的事实错误。在四项不同任务（基于知识的问答、代码生成、数学推理和科学文献综述）上的实验显示了所提方法的有效性。我们在 https://github.com/GAIR-NLP/factool 发布了与ChatGPT插件接口相关的FacTool代码。
引用
@article{arxiv.2307.13528,
title = {FacTool: Factuality Detection in Generative AI -- A Tool Augmented Framework for Multi-Task and Multi-Domain Scenarios},
author = {I-Chun Chern and Steffi Chern and Shiqi Chen and Weizhe Yuan and Kehua Feng and Chunting Zhou and Junxian He and Graham Neubig and Pengfei Liu},
journal= {arXiv preprint arXiv:2307.13528},
year = {2023}
}