VAST:用于语境化语言模型定位的效价评估语义测试
计算与语言
2022-03-16 v1 人工智能
计算机与社会
机器学习
摘要
VAST(效价评估语义测试)是一种针对语境化词嵌入(CWE)的新型内在评测任务。VAST利用效价(词与愉悦感的关联)来衡量词级语言模型语义与广泛使用的人类判断之间的对应性,并考察语境化、分词以及LM特定几何结构的影响。由于先前研究发现来自GPT-2的CWE在其他内在评测中表现不佳,我们选取GPT-2作为主要研究对象,并给出结果表明VAST对另外7个LM有用,且可用于7种语言。GPT-2的结果显示,词的语义在更靠近模型输出的层中融入了上下文语义,使得VAST分数在我们的语境设置间出现分化,在第11层中Pearson相关系数rho从0.55到0.77不等。我们还表明,多次分词化的词直到第8层才被语义编码,此时其Pearson相关系数rho为0.46,表明存在一种与单次分词化词(其rho在第0层最高)不同的编码过程。我们发现,少数取值量级大于其余神经元的神经元会掩盖GPT-2顶层的词级语义,但通过消去非语义主成分可恢复词级语义:顶层Pearson相关系数rho从0.32提升至0.76。在分离出语义后,我们通过在四个词相似度任务上超越相关工作的结果展示了VAST理解LM语义的效用,在SimLex-999上得分为0.50,优于此前GPT-2最佳值0.45。最后,我们表明10项WEAT偏见测试中的8项(比较词嵌入在不同词组间关联的差异)在分离语义后表现出更多刻板一致偏见,说明LM中的非语义结构也掩盖了偏见。
引用
@article{arxiv.2203.07504,
title = {VAST: The Valence-Assessing Semantics Test for Contextualizing Language Models},
author = {Robert Wolfe and Aylin Caliskan},
journal= {arXiv preprint arXiv:2203.07504},
year = {2022}
}
备注
To be published in AAAI 2022