预训练语言模型能否像人类一样智能地解读明喻？
计算与语言
2022-03-17 v1 人工智能
摘要
明喻解读是自然语言处理中的一项关键任务。如今，预训练语言模型（PLMs）已在许多任务上取得了最先进的性能。然而，PLMs 是否能够解读明喻仍鲜有探索。在本文中，我们通过设计一项名为明喻属性探测的新任务来研究 PLMs 的明喻解读能力，即让 PLMs 推断明喻的共有属性。我们从通用文本语料库和人工设计的问题中构建了明喻属性探测数据集，包含覆盖七大类别的 1,633 个样例。基于所构建数据集的实证研究表明，PLMs 能够推断明喻的共有属性，但仍不及人类表现。为缩小与人类表现的差距，我们额外设计了一种知识增强的训练目标，通过知识嵌入方法将明喻知识融入 PLMs。我们的方法在探测任务上取得了 8.58% 的提升，在情感分类下游任务上取得了 1.37% 的提升。数据集与代码已公开于 https://github.com/Abbey4799/PLMs-Interpret-Simile。
引用
@article{arxiv.2203.08452,
title = {Can Pre-trained Language Models Interpret Similes as Smart as Human?},
author = {Qianyu He and Sijie Cheng and Zhixu Li and Rui Xie and Yanghua Xiao},
journal= {arXiv preprint arXiv:2203.08452},
year = {2022}
}
备注
Accepted at ACL 2022 main conference