OPDAI在SemEval-2024任务6中：小型LLM可利用弱监督数据加速幻觉检测
计算与语言
2024-02-21 v1
摘要
本文主要描述了一个用于LLM幻觉检测的统一系统，该系统在SemEval-2024任务6的模型无关赛道中获得二等奖，并在模型感知赛道中也取得了可观的结果。该任务旨在针对三种不同的文本生成任务，在没有标注训练数据的情况下，利用LLM检测幻觉。我们利用提示工程和少样本学习验证了不同LLM在验证数据上的性能。然后，我们选择性能较好的LLM生成高质量的弱监督训练数据，这些数据不仅满足不同LLM之间的一致性，还满足最优LLM在不同采样参数下的一致性。此外，我们使用构建的训练数据微调不同的LLM，发现相对较小的LLM在幻觉检测中可以达到与大型LLM以及使用GPT-4的基于提示的方法相竞争的性能水平。
引用
@article{arxiv.2402.12913,
title = {OPDAI at SemEval-2024 Task 6: Small LLMs can Accelerate Hallucination Detection with Weakly Supervised Data},
author = {Chengcheng Wei and Ze Chen and Songtan Fang and Jiarong He and Max Gao},
journal= {arXiv preprint arXiv:2402.12913},
year = {2024}
}