FLUTE：通过文本解释理解隐喻语言
计算与语言
2022-10-18 v3
摘要
隐喻语言理解近来被构建为识别文本蕴含(RTE)任务(亦称自然语言推理，或 NLI)。然而，与经典的 RTE/NLI 数据集类似，当前的基准测试存在伪相关与标注伪影。为应对该问题，NLI 领域已构建了基于解释的数据集(如 e-SNLI)，使我们能够探查语言模型是否出于正确原因而判断正确。但针对隐喻语言尚无此类数据，难以评估对此类表达的真正理解。为解决该问题，我们发布了 FLUTE，一个包含 9,000 个带解释的隐喻 NLI 实例的数据集，涵盖四类：讽刺、明喻、隐喻和习语。我们通过基于 GPT-3、众包工人和专家标注者的模型在环框架收集数据。我们展示了将 GPT-3 与人类标注者(新手与专家)结合使用，如何助力即便对于隐喻语言此类复杂语言现象也能扩展数据集的创建。在 FLUTE 上微调的 T5 模型基线表现表明，我们的数据集能让我们向开发通过文本解释理解隐喻语言的模型迈进一歩。
引用
@article{arxiv.2205.12404,
title = {FLUTE: Figurative Language Understanding through Textual Explanations},
author = {Tuhin Chakrabarty and Arkadiy Saakyan and Debanjan Ghosh and Smaranda Muresan},
journal= {arXiv preprint arXiv:2205.12404},
year = {2022}
}
备注
EMNLP 2022 Main Conference (Long Paper)