应对预训练语言模型中的偏见:当前趋势与代表性不足的社会
计算机与社会
2023-12-05 v1 人工智能
计算与语言
摘要
预训练语言模型(LLM)在当前和未来创新中的益处与能力对任何社会都至关重要。然而,引入和使用 LLM 会带来偏见和歧视,引发对平等、多样性和公平性的担忧,必须加以解决。虽然理解和承认 LLM 中的偏见并制定缓解策略至关重要,但对社会需求的泛化假设可能会对代表性不足的社会和原住民群体造成不利影响。此外,全球范围内对法规和法律实际及拟议修正案的持续变更,也影响了在解决偏见问题方面的研究能力。本研究提供了一项综合调查,总结了用于识别和缓解 LLM 中偏见的技术的当前趋势与局限性,其中应对偏见的方法概述被分为指标、基准数据集和缓解策略。本调查的重要性和新颖性在于它探讨了代表性不足社会的视角。我们认为,当前解决偏见问题的做法不能简单地“即插即用”来满足代表性不足社会的需求。我们以新西兰为例,提出了将现有技术应用于代表性不足社会的要求。
引用
@article{arxiv.2312.01509,
title = {Tackling Bias in Pre-trained Language Models: Current Trends and Under-represented Societies},
author = {Vithya Yogarajan and Gillian Dobbie and Te Taka Keegan and Rostam J. Neuwirth},
journal= {arXiv preprint arXiv:2312.01509},
year = {2023}
}
备注
38 pages, 5 figures, 11 tables. arXiv admin note: text overlap with arXiv:2309.00770 by other authors