超越内部数据：用于公平性测试的完整数据集构建

随着AI在高风险领域和决策中的普及，测试其潜在伤害和偏见的必要性日益凸显。这一紧迫性体现在全球范围内出现的数据驱动AI法规强调公平性和充分测试，其中一些法规甚至要求独立偏见审计。然而，获取进行公平性测试所需数据的做法仍是一个重大挑战。特别是在行业设置中，法律和隐私 concerns 限制了收集评估组间差异所需的人口统计数据的能力，而审计人员在获取数据方面面临实际和文化挑战。此外，内部历史数据往往不足以识别现实中的偏见。本工作聚焦于在无法获取包含人口统计信息的完整数据集时评估分类器的公平性。我们提出利用多个相互重叠的数据集来构建包含人口统计信息的完整人工合成数据，并准确反映受保护属性与模型特征之间关系。我们通过将其与真实数据进行比较来验证人工合成数据的忠实度，并实证演示了基于该人工合成数据测试所得的公平性指标与来自真实数据的公平性指标一致。这一工作因此提供了一条克服现实数据稀缺以进行公平性测试的途径，使独立、模型无关的公平性评估成为可能，并可作为数据有限时的情况下的可行替代方案。