“史上最罪恶放纵的蛋糕”好吃吗？从比喻性语境中回答是非问题
计算与语言
2023-09-26 v1
摘要
比喻性语言在自然语言中十分常见，虽能使交流令人印象深刻且富有创意，却可能难以理解。在这项工作中，我们研究了问答（QA）模型在比喻性文本上的鲁棒性。是非问题尤其可作为探测大语言模型比喻性语言理解能力的有效手段。我们提出 FigurativeQA，一组包含比喻与非比喻语境的 1000 个是非问题，提取自餐厅与产品评论领域。我们表明，与在非比喻语境上相比，最先进的基于 BERT 的 QA 模型在回答比喻语境问题时平均性能下降高达 15 个百分点。虽然诸如 GPT-3 和 ChatGPT 等模型更擅长处理比喻性文本，我们表明可通过自动将比喻语境简化为其非比喻（字面）对应形式来获得进一步的性能提升。我们发现最佳总体模型为采用思维链提示生成非比喻语境的 ChatGPT。我们的工作为构建具备比喻性语言理解能力的更鲁棒 QA 模型提供了有前景的方向。
关键词
引用
@article{arxiv.2309.13748,
title = {Does the "most sinfully decadent cake ever" taste good? Answering Yes/No Questions from Figurative Contexts},
author = {Geetanjali Rakshit and Jeffrey Flanigan},
journal= {arXiv preprint arXiv:2309.13748},
year = {2023}
}
备注
Accepted at RANLP 2023