BERT之于NLP犹如AlexNet之于CV：预训练语言模型能否识别类比？
计算与语言
2022-09-12 v4 机器学习
摘要
类比在人类常识推理中起着核心作用。识别诸如“眼之于看犹如耳之于听”这类类比（有时称为类比比例）的能力，塑造了我们组织知识和理解语言的方式。然而令人惊讶的是，在语言模型时代，此类类比识别任务尚未受到太多关注。本文中，我们分析了基于transformer的语言模型在该无监督任务上的能力，使用了来自教育环境的基准以及更常用的数据集。我们发现现成语言模型能在某种程度上识别类比，但在抽象和复杂关系上表现吃力，且结果对模型架构和超参数高度敏感。总体而言，最佳结果由GPT-2和RoBERTa取得，而使用BERT的配置未能超越词嵌入模型。我们的结果对未来工作提出了关于预训练语言模型如何以及在多大程度上捕获抽象语义关系知识的重要问题。
引用
@article{arxiv.2105.04949,
title = {BERT is to NLP what AlexNet is to CV: Can Pre-Trained Language Models Identify Analogies?},
author = {Asahi Ushio and Luis Espinosa-Anke and Steven Schockaert and Jose Camacho-Collados},
journal= {arXiv preprint arXiv:2105.04949},
year = {2022}
}
备注
Accepted by ACL 2021 main conference