句子变换器中的表征偏差
计算与语言
2023-01-31 v1
摘要
专为生成完整句子表征而改进的 BERT 架构变体，通常在下游任务上优于从原始 BERT 提取的句子嵌入。然而，对于何种输入属性决定此类表征的属性，目前仍知之甚少。在本研究中，我们构建了若干具有预定义词汇与句法结构的句子集合，并表明 SOTA 句子变换器具有强烈的名词参与者集合偏差：句子对的余弦相似度更多地由它们名词参与者集合的重叠决定，而非由具有相同谓语、冗长名词修饰语或附加语决定。与此同时，参与者的精确句法—题元功能在很大程度上无关紧要。
引用
@article{arxiv.2301.13039,
title = {Representation biases in sentence transformers},
author = {Dmitry Nikolaev and Sebastian Padó},
journal= {arXiv preprint arXiv:2301.13039},
year = {2023}
}
备注
Accepted to EACL 2023