AILS-NTUA 在 SemEval-2024 任务6:用于幻觉检测与分析的高效模型调优
计算与语言
2024-04-15 v2
摘要
在本文中,我们介绍了团队在 SemEval-2024 任务6(SHROOM,关于幻觉及相关可观察过度生成错误的共享任务)中的提交成果。参与者被要求执行二分类任务,以识别流畅的过度生成幻觉案例。我们的实验包括微调一个预训练模型用于幻觉检测,以及一个自然语言推理(NLI)模型。最成功的策略是创建这些模型的集成,在模型无关和模型感知数据集上分别达到了77.8%和79.9%的准确率,超过了组织者的基线,并且与竞赛中最佳结果(分别报告了84.7%和81.3%的准确率)相比取得了显著成果。
引用
@article{arxiv.2404.01210,
title = {AILS-NTUA at SemEval-2024 Task 6: Efficient model tuning for hallucination detection and analysis},
author = {Natalia Grigoriadou and Maria Lymperaiou and Giorgos Filandrianos and Giorgos Stamou},
journal= {arXiv preprint arXiv:2404.01210},
year = {2024}
}
备注
SemEval-2024