语言模型是否学习了位置-角色映射？
计算与语言
2022-02-09 v1
摘要
自然语言中的位置-角色映射知识是如何习得的？我们在一个计算环境中探讨这一问题，测试多种性能良好的预训练语言模型（BERT、RoBERTa 和 DistilBERT）是否表现出对这些映射的掌握，以及这种知识在句法、结构和词汇交替中是否持续存在。在实验1中，我们表明这些神经模型确实能识别双及物构式中受事(theme)与接受者(recipient)角色之间的区别，并且这些不同的模式在不同构式类型间是共享的。我们在实验2中强化了这一发现，表明在某一范式上对类似受事和接受者的新词元微调这些语言模型，可使模型对其他范式中其位置做出正确预测，这表明这些映射的知识是共享的，而非独立习得的。然而，当任务涉及带有新双及物动词的构式时，我们确实观察到这种泛化存在一些局限性，暗示模型性能背后存在一定程度的词汇特异性。
引用
@article{arxiv.2202.03611,
title = {Do Language Models Learn Position-Role Mappings?},
author = {Jackson Petty and Michael Wilson and Robert Frank},
journal= {arXiv preprint arXiv:2202.03611},
year = {2022}
}
备注
To appear in the BUCLD 46 Proceedings