BERT复合词表征的心理语言学分析
计算与语言
2023-02-15 v1
摘要
本研究探讨BERT为复合词（即诸如sunlight或bodyguard之类的表达式）所习得的语义表征。我们基于近期在词级别探索Transformer中语义信息的研究，检验BERT在处理其整体意义在不同程度上依赖于构成词（sun、light）语义的表达式（如sunlight）时，是否与人类语义直觉相一致。我们利用一个包含人类对复合词语义分析的两个心理语言学度量判断的数据集：词位意义主导性（LMD；量化每个构成词对复合词意义的权重）和语义透明度（ST；评估从构成词语义中恢复复合词意义的程度）。我们表明，基于BERT的度量与人类直觉有中等程度的一致，尤其在使用上下文化表征时，且LMD总体上比ST更具可预测性。与针对“标准”词所报告的结果相反，更高、更具上下文化的层在表征复合词意义方面表现最佳。这些发现为BERT处理细粒度语义现象的能力提供了新见解。此外，它们可为了解说话者如何表征复合词提供洞见。
引用
@article{arxiv.2302.07232,
title = {A Psycholinguistic Analysis of BERT's Representations of Compounds},
author = {Lars Buijtelaar and Sandro Pezzelle},
journal= {arXiv preprint arXiv:2302.07232},
year = {2023}
}
备注
To appear in the Proceedings of EACL 2023 (main conference)