中文

SmurfCat在SemEval-2024任务6中:利用合成数据进行幻觉检测

计算与语言 2024-04-10 v1 人工智能

摘要

在本文中,我们介绍了为SemEval-2024幻觉检测任务开发的新系统。我们的研究涵盖了一系列策略,用于比较模型预测与参考标准,包括多种基线、通过监督学习微调预训练编码器,以及利用多个高性能模型的集成方法。通过这些探索,我们提出了三种表现出强大性能指标的不同方法。为了扩充训练数据,我们从无标签训练子集中生成了额外的训练样本。此外,我们提供了方法的详细比较分析。值得注意的是,我们的最佳方法在竞赛的模型无关赛道中获得了第9名,在模型感知赛道中获得了第17名,突显了其有效性和潜力。

关键词

引用

@article{arxiv.2404.06137,
  title  = {SmurfCat at SemEval-2024 Task 6: Leveraging Synthetic Data for Hallucination Detection},
  author = {Elisei Rykov and Yana Shishkina and Kseniia Petrushina and Kseniia Titova and Sergey Petrakov and Alexander Panchenko},
  journal= {arXiv preprint arXiv:2404.06137},
  year   = {2024}
}

备注

12 pages, 10 tables, 3 figures