EM回归：面向问答评估的实体驱动答案集扩展
计算与语言
2024-12-13 v3
摘要
最近，直接使用大语言模型（LLM）已被证明是评估问答模型最可靠的方法。然而，该方法存在可解释性有限、成本高和环境危害等问题。为解决这些问题，我们提出使用软EM与实体驱动的答案集扩展。我们的方法基于观察：表面形式通常根据实体类型遵循特定模式，从而扩展黄金答案集以包含多样化的表面形式。实验结果表明，我们的方法大幅优于传统评估方法。此外，我们的评估方法的可靠性与基于LLM的方法相当，同时具有高可解释性和减少环境危害的优势。
引用
@article{arxiv.2404.15650,
title = {Return of EM: Entity-driven Answer Set Expansion for QA Evaluation},
author = {Dongryeol Lee and Minwoo Lee and Kyungmin Min and Joonsuk Park and Kyomin Jung},
journal= {arXiv preprint arXiv:2404.15650},
year = {2024}
}
备注
Accepted at COLING 2025 (16 pages, 4 figures, 11 tables)