检测无需事实判断的响应生成
计算与语言
2024-06-17 v1
摘要
随着大语言模型（LLM）的快速发展，确保输出事实性已成为挑战。然而，对给定知识或事实的响应内容全部进行事实性检查并非理想。在对话情境下，本研究旨在实现吸引力与事实性并存，具体任务为预测无需事实正确性判断的句子，如同意或个人意见/感受。我们通过众包方式创建了一个标注了事实检查需求标签的对话数据集（DDFC），并在此数据集上对几种模型进行分类任务实验。最高分类准确率的模型可实现约 88% 的分类准确率。
引用
@article{arxiv.2406.09702,
title = {Detecting Response Generation Not Requiring Factual Judgment},
author = {Ryohei Kamei and Daiki Shiono and Reina Akama and Jun Suzuki},
journal= {arXiv preprint arXiv:2406.09702},
year = {2024}
}