中文

AILS-NTUA 在 SemEval-2024 任务6:用于幻觉检测与分析的高效模型调优

计算与语言 2024-04-15 v2

摘要

在本文中,我们介绍了团队在 SemEval-2024 任务6(SHROOM,关于幻觉及相关可观察过度生成错误的共享任务)中的提交成果。参与者被要求执行二分类任务,以识别流畅的过度生成幻觉案例。我们的实验包括微调一个预训练模型用于幻觉检测,以及一个自然语言推理(NLI)模型。最成功的策略是创建这些模型的集成,在模型无关和模型感知数据集上分别达到了77.8%和79.9%的准确率,超过了组织者的基线,并且与竞赛中最佳结果(分别报告了84.7%和81.3%的准确率)相比取得了显著成果。

关键词

引用

@article{arxiv.2404.01210,
  title  = {AILS-NTUA at SemEval-2024 Task 6: Efficient model tuning for hallucination detection and analysis},
  author = {Natalia Grigoriadou and Maria Lymperaiou and Giorgos Filandrianos and Giorgos Stamou},
  journal= {arXiv preprint arXiv:2404.01210},
  year   = {2024}
}

备注

SemEval-2024