DAHRS：基于发散感知的幻觉缓解语义角色投影
计算与语言
2025-03-20 v2 人工智能
摘要
语义角色标注 (SRL) 为许多下游应用提供支持，如机器翻译、问答、摘要和立场/信念检测。然而，由于稀缺的多语言语义标注语料，构建多语言 SRL 模型颇具挑战性。此外，基于大语言模型 (LLM) 的最新 SRL 投影 (XSRL) 产出常常充斥着虚假角色标签。由于缺乏 LLM 的可解释性，幻觉的缓解并不直接可行。我们表明，幻觉的角色标签与自然发生的偏离类型有关，这些类型干扰了初始的对齐。我们实现了基于发散感知的幻觉缓解 SRL 投影 (DAHRS)，该方法利用语言学信息的对齐修复，然后进行贪心 First-Come First-Assign (FCFA) SRL 投影。DAHRS 在不额外引入基于转换器的机器学习技术的情况下提高了 SRL 投影的准确性，无论是在人类还是自动比较中都优于 XSRL，并且能够超越词干，容纳短语级 SRL 投影（例如 EN-FR、EN-ES）。以 CoNLL-2009 为我们的基准，我们在 XSRL 上实现更高的词级 F1 分数：EN-FR 为 87.6% vs. 77.3%，EN-ES 为 89.0% vs. 82.7%。人类短语级评估分别为 EN-FR 89.1% 和 EN-ES 91.0%。我们还定义了一种偏离度量，以适应其他语言对的应用（例如英-他加禄）。
引用
@article{arxiv.2407.09283,
title = {DAHRS: Divergence-Aware Hallucination-Remediated SRL Projection},
author = {Sangpil Youm and Brodie Mather and Chathuri Jayaweera and Juliana Prada and Bonnie Dorr},
journal= {arXiv preprint arXiv:2407.09283},
year = {2025}
}
备注
15 pages, 6 figures, Accepted to The 29th International Conference on Natural Language & Information Systems (NLDB 2024)