MASSIVE多语言抽象意义表示：用于幻觉检测的数据集与基线
计算与语言
2024-05-30 v1
摘要
抽象意义表示（AMR）是一种捕捉话语核心意义的语义形式。已有大量工作开发英语AMR语料库，最近也跨语言进行，但现有数据集规模有限且收集更多标注成本高昂。出于工程和科学问题，我们引入MASSIVE-AMR，一个包含超过84,000个文本到图标注的数据集，是目前最大且最多样化的同类数据集：1,685个信息寻求话语的AMR图映射到50多种类型多样的语言。我们描述了如何构建资源及其独特特征，然后报告了使用大语言模型进行多语言AMR和SPARQL解析的实验，以及将AMR应用于知识库问答中的幻觉检测，结果揭示了使用LLM进行结构化解析的持续问题。
引用
@article{arxiv.2405.19285,
title = {MASSIVE Multilingual Abstract Meaning Representation: A Dataset and Baselines for Hallucination Detection},
author = {Michael Regan and Shira Wein and George Baker and Emilio Monti},
journal= {arXiv preprint arXiv:2405.19285},
year = {2024}
}