Astraea：基于文法的公平性测试

软件经常产生有偏见的输出。特别是，基于机器学习（ML）的软件在处理歧视性输入时会产生错误预测，这种不公平的程序行为可能由社会偏见引起。过去几年中，Amazon、Microsoft 和 Google 提供了产生不公平输出的软件服务，主要由于社会偏见（例如性别或种族）。在此类事件中，开发人员背负进行公平性测试的任务。公平性测试具有挑战性；开发人员的任务是生成揭示并解释偏见的歧视性输入。我们提出一种基于文法的公平性测试方法（称为 ASTRAEA），其利用上下文无关文法生成揭示软件系统中公平性违规的歧视性输入。利用概率文法，ASTRAEA 还通过隔离观察到的软件偏见的原因提供故障诊断。ASTRAEA 的诊断有助于改进 ML 公平性。ASTRAEA 在提供三种主要自然语言处理（NLP）服务的 18 个软件系统上进行了评估。在我们的评估中，ASTRAEA 以约 18% 的速率生成公平性违规。ASTRAEA 生成了超过 573K 个歧视性测试用例，并发现了超过 102K 个公平性违规。此外，通过模型重训练，ASTRAEA 将软件公平性提高了约 76%。