LLM-Guided 合成数据增强 (LGSA) 用于缓解 AI 系统中的偏见
计算与语言
2025-10-16 v1 人工智能
摘要
AI 系统中的偏见，尤其是依赖自然语言数据的系统，引发伦理和实际关切。某些群体的代表性不足常导致不同人口统计之间性能不均。传统公平方法（如预处理、内处理和后处理）依赖受保护属性标签，涉及准确性与公平性之间的权衡，且可能无法在不同数据集上泛化。为此，我们提出了 LLM-Guided 合成数据增强（LGSA），该方法利用大型语言模型为 underrepresented 群体生成反事实样本，同时保持标签完整性。我们在包含带性别代称、职业和二进制分类标签的短英文句子控制数据集上评估了 LGSA。使用结构化提示生成性别互换的改写文本，随后进行质量控制，包括语义相似性检查、属性验证、毒性筛查和人工抽查。增强后的数据集扩充了训练覆盖范围，并用于在一致条件下训练分类器。结果表明，LGSA 在不损害准确性的前提下显著减少了性能差距。基线模型达到96.7%的准确率，性别偏差间隔为7.2%。简单的置换数据增强将间隔降至0.7%，但准确率降至95.6%。LGSA 实现99.1%的准确率，性别偏差间隔为1.9%，在女性标签示例上的性能显著提升。这些发现表明，LGSA 是一种有效的偏见缓解策略，既提升了子群平衡性，又保持了高水平的任务准确性和标签忠实性。
引用
@article{arxiv.2510.13202,
title = {LLM-Guided Synthetic Augmentation (LGSA) for Mitigating Bias in AI Systems},
author = {Sai Suhruth Reddy Karri and Yashwanth Sai Nallapuneni and Laxmi Narasimha Reddy Mallireddy and Gopichand G},
journal= {arXiv preprint arXiv:2510.13202},
year = {2025}
}
备注
11 pages, 4 figures, 1 Table, submitted to an international conference