以“受限行业”为重点减少大型语言模型偏见：自动化数据集增强与偏见量化
计算与语言
2024-03-22 v1 人工智能
机器学习
摘要
尽管大型语言模型的能力日益增强，但人们对其产生的偏见存在担忧。本文从偏见产生者的视角以及数据受限的“受限行业”背景出发，提出了一种通过指定数据集增强进行去偏见的新型自动化机制。此外，考虑到偏见源于模型内在架构和数据集两方面，我们创建了两个新的附加指标 mb-index 和 db-index 来量化偏见。
引用
@article{arxiv.2403.13925,
title = {Reducing Large Language Model Bias with Emphasis on 'Restricted Industries': Automated Dataset Augmentation and Prejudice Quantification},
author = {Devam Mondal and Carlo Lipizzi},
journal= {arXiv preprint arXiv:2403.13925},
year = {2024}
}