SmurfCat在SemEval-2024任务6中:利用合成数据进行幻觉检测
计算与语言
2024-04-10 v1 人工智能
摘要
在本文中,我们介绍了为SemEval-2024幻觉检测任务开发的新系统。我们的研究涵盖了一系列策略,用于比较模型预测与参考标准,包括多种基线、通过监督学习微调预训练编码器,以及利用多个高性能模型的集成方法。通过这些探索,我们提出了三种表现出强大性能指标的不同方法。为了扩充训练数据,我们从无标签训练子集中生成了额外的训练样本。此外,我们提供了方法的详细比较分析。值得注意的是,我们的最佳方法在竞赛的模型无关赛道中获得了第9名,在模型感知赛道中获得了第17名,突显了其有效性和潜力。
引用
@article{arxiv.2404.06137,
title = {SmurfCat at SemEval-2024 Task 6: Leveraging Synthetic Data for Hallucination Detection},
author = {Elisei Rykov and Yana Shishkina and Kseniia Petrushina and Kseniia Titova and Sergey Petrakov and Alexander Panchenko},
journal= {arXiv preprint arXiv:2404.06137},
year = {2024}
}
备注
12 pages, 10 tables, 3 figures