ANHALTEN：德语标记级无参考幻觉检测的跨语言迁移
计算与语言
2024-07-19 v1
摘要
标记级无参考幻觉检测的研究主要集中在英语上，由于其他语言数据集稀缺，导致对跨语言迁移效果进行系统性探讨受到阻碍。为填补这一空白，我们引入ANHALTEN，一个扩展至德语的新评估数据集。据我们所知，这是首个探索跨语言迁移用于标记级无参考幻觉检测的工作。ANHALTEN包含与原始英文实例直接可比的德语金标注释。我们对比了多种主流跨语言迁移方法，表明更长的上下文长度即使没有后继上下文也能提升德语幻觉检测效果。重要的是，我们发现样本高效的零样本迁移在大多数设置下是最有效的方法。这强调了在无参考幻觉检测中，针对目标语言进行最小化标注工作的实际效益。为 catalyze 未来跨语言标记级无参考幻觉检测研究，我们将ANHALTEN公开发布：https://github.com/janekh24/anhalten
引用
@article{arxiv.2407.13702,
title = {ANHALTEN: Cross-Lingual Transfer for German Token-Level Reference-Free Hallucination Detection},
author = {Janek Herrlein and Chia-Chien Hung and Goran Glavaš},
journal= {arXiv preprint arXiv:2407.13702},
year = {2024}
}
备注
ACL 2024 Student Research Workshop