论句子编码器中社会偏见的度量
计算与语言
2019-03-27 v1 计算机与社会
摘要
词嵌入关联测试表明 GloVe 和 word2vec 词嵌入表现出基于性别、种族及其他社会建构的拟人化内隐偏见（Caliskan 等，2017）。与此同时，关于学习可复用文本表示的研究已开始探索句子级文本，一些句子编码器受到热烈采纳。相应地，我们扩展词嵌入关联测试以度量句子编码器中的偏见。我们随后测试了若干句子编码器，包括 ELMo 和 BERT 等 SOTA 方法，针对先前工作所研究的社会偏见以及两种在词层面难以或无法测试的重要偏见。我们观察到混杂的结果，包括可疑的敏感性模式，暗示该测试的假设可能并不普遍成立。我们最后提出句子编码器偏见度量未来工作的方向。
引用
@article{arxiv.1903.10561,
title = {On Measuring Social Biases in Sentence Encoders},
author = {Chandler May and Alex Wang and Shikha Bordia and Samuel R. Bowman and Rachel Rudinger},
journal= {arXiv preprint arXiv:1903.10561},
year = {2019}
}
备注
NAACL 2019