预训练语言模型中的科学与创造性类比
计算与语言
2022-11-29 v1 机器学习
摘要
本文研究大规模预训练语言模型（如 BERT 和 GPT-2）中类比的编码方式。现有的类比数据集通常只关注有限的类比关系集合，且类比所涉及的两个领域具有高度相似性。作为一种更贴近现实的设置，我们引入了科学与创造性类比数据集（SCAN），这是一个新颖的类比数据集，包含跨不相似领域的多属性与关系结构的系统性映射。利用该数据集，我们测试了几种广泛使用的预训练语言模型（LM）的类比推理能力。我们发现，最先进的语言模型在这些复杂类比任务上表现不佳，突显了类比理解仍然面临的挑战。
引用
@article{arxiv.2211.15268,
title = {Scientific and Creative Analogies in Pretrained Language Models},
author = {Tamara Czinczoll and Helen Yannakoudakis and Pushkar Mishra and Ekaterina Shutova},
journal= {arXiv preprint arXiv:2211.15268},
year = {2022}
}
备注
To be published in Findings of EMNLP 2022