受互联网训练：探索 OpenAI GPT-3 中的偏见
计算与语言
2023-06-06 v1 人工智能
摘要
本研究深入探讨了自然语言处理模型偏见问题的现有文献以及为缓解该偏见问题所提出的技术，包括为何首要解决偏见问题的重要性。此外，这些技术在规模远超以往版本的新近开发模型背景下得到了进一步分析。为实现上述目标，本文作者在 OpenAI 的 GPT-3（当今消费者可用的最大 NLP 模型）上开展了研究。与 BERT 的 3.4 亿参数相比，GPT-3 拥有 1750 亿参数，是测试 NLP 模型常见缺陷的理想模型。测试通过开发一个使用 GPT-3 的求职者追踪系统（Applicant Tracking System）来进行。出于可行性与时间限制的考虑，测试主要关注性别偏见，而非所有或多类偏见。最后，本文考量并测试了当前的缓解技术以衡量其功能程度。
引用
@article{arxiv.2306.02428,
title = {Taught by the Internet, Exploring Bias in OpenAIs GPT3},
author = {Ali Ayaz and Aditya Nawalgaria and Ruilian Yin},
journal= {arXiv preprint arXiv:2306.02428},
year = {2023}
}