词嵌入偏差度量解释的若干考量
计算与语言
2019-06-21 v1
摘要
词嵌入空间是捕捉语料中术语间潜在语义关系的强大工具，并已成为构建最先进自然语言处理算法的广泛流行手段。然而，研究表明文本语料中存在的社會偏见可能被从中学习的词嵌入空间所吸纳。因此，存在一种伦理担忧：语料及其派生嵌入空间中所含的类人偏见，可能随着在下游应用中使用有偏嵌入空间而被传播甚至放大。为了量化这些偏见以便更好地理解和研究，已有若干偏差度量被提出。我们探究这些所提度量在其被引应用及所谓效用语境下的统计性质。我们发现，如所提议的那样对这些度量作简单解释存在注意事项。我们发现 Bolukbasi 等人 2016 年提出的偏差度量对嵌入超参数选择高度敏感，且在许多情况下，由某些超参数选择引起的方差大于由语料选择引起的度量方差，而在较少情况下语料的偏差排序随超参数选择而变。鉴于这些观察，偏差估计或许不应被视为直接度量底层语料的性质，而是特定嵌入空间的性质，尤其在使用以生成它们的超参数选择语境下。因此，对以不同超参数生成的空间的偏差度量，仅应在显式考虑嵌入学习算法特定配置的前提下进行比较。
引用
@article{arxiv.1906.08379,
title = {Considerations for the Interpretation of Bias Measures of Word Embeddings},
author = {Inom Mirzaev and Anthony Schulte and Michael Conover and Sam Shah},
journal= {arXiv preprint arXiv:1906.08379},
year = {2019}
}