LLM 辅助的内容条件去偏以实现公平文本嵌入
计算与语言
2024-06-25 v3 人工智能
计算机与社会
机器学习
摘要
减轻 machine learning models（机器学习模型）中的 biases（偏见）已成为 natural language processing (NLP)（自然语言处理）中日益关注的问题，特别是在开发 fair text embeddings（公平文本嵌入）方面，这对于搜索引擎等现实应用至关重要却充满挑战。为此，本文提出了一种学习公平文本嵌入的新方法。首先，我们为文本嵌入定义了一种新的 content-conditional equal distance (CCED) fairness（内容条件等距公平性），确保敏感属性与文本嵌入之间的 content-conditional independence（内容条件独立性）。基于 CCED，我们引入了一种 content-conditional debiasing (CCD) loss（内容条件去偏损失），以确保具有不同敏感属性但内容相同的文本嵌入，与其对应的 neutral text（中性文本）嵌入保持相同的距离。此外，我们通过使用带有 instructions（指令）的 large language models (LLMs)（大语言模型）将文本公平地 augment（增强）到不同的敏感组，从而解决训练数据不足的问题。我们的广泛评估表明，我们的方法在保持嵌入 utility（效用）的同时有效地增强了公平性。此外，我们增强后的数据集结合 CCED 指标，可作为评估公平性的新 benchmark（基准）。
引用
@article{arxiv.2402.14208,
title = {LLM-Assisted Content Conditional Debiasing for Fair Text Embedding},
author = {Wenlong Deng and Blair Chen and Beidi Zhao and Chiyu Zhang and Xiaoxiao Li and Christos Thrampoulidis},
journal= {arXiv preprint arXiv:2402.14208},
year = {2024}
}