文本嵌入模型中的偏见
人工智能
2024-06-19 v1 计算与语言
摘要
文本嵌入正成为一种日益流行的人工智能方法，尤其是在企业中，然而文本嵌入模型可能存在偏见这一潜力尚未得到充分理解。本文考察了一系列流行的文本嵌入模型存在偏见的程度，特别是沿性别维度的偏见。更具体地说，本文研究了这些模型将给定的职业列表与性别化术语关联的程度。分析表明，文本嵌入模型容易产生性别偏见，但方式各异。尽管存在某些模型间的共性，例如，护士、家庭主妇和社交名流等职业与女性标识符的关联更强，而CEO、经理和老板等职业与男性标识符的关联更强，但并非所有模型对每个职业都做出相同的性别关联。此外，偏见的程度和方向也可能因模型而异，并取决于模型被提示的具体词语。本文证明了性别偏见影响着文本嵌入模型，并建议使用该技术的企业需要关注这个问题的具体维度。
引用
@article{arxiv.2406.12138,
title = {Bias in Text Embedding Models},
author = {Vasyl Rakivnenko and Nestor Maslej and Jessica Cervi and Volodymyr Zhukov},
journal= {arXiv preprint arXiv:2406.12138},
year = {2024}
}