资源、数据和访问约束下的审计：较少歧视替代方案的规模定律

AI审计在AI问责和安全方面发挥着关键作用。反歧视法的一个分支尤其涉及“较少歧视替代方案”（LDA）要求，即协议（例如模型）在若干努力下若无能实现 comparable performance 的较少歧视协议即为可辩护的。值得注意的是，证明LDA存在的负担通常落在主张方（指控歧视的方）身上。这在AI案件中造成了重大的障碍，因为主张方似乎需要训练一个较少歧视且高性能的模型，这需要超出大多数诉讼者的资源和专业知识。此外，开发者常常掩饰关于其模型和训练数据的信息和访问权限作为商业机密，使难以从零重新创建类似模型。在本工作中，我们提出了一种使主张方能够确定LDA是否存在的程序，即便在有限计算、数据、信息和模型访问的情况下亦可如此。我们聚焦于公平性由人口统计比例决定，性能由二进制交叉熵损失决定的场景。我们的主要结果是，我们提供了一个针对loss-fairness Pareto前沿的新型闭式上界。我们展示，主张方可以据此在“低资源 regime”中拟合Pareto前沿，然后外推适用于正在争议的（大型）模型的Pareto前沿，无需训练单个大型模型。该表达式因此作为loss-fairness Pareto前沿的规模定律。要使用此规模定律，主张方需要一小部分训练/测试数据。然后，主张方可以通过训练最多7个（小型）模型来拟合特定情境的Pareto前沿。我们对主要结果进行了应力测试，发现即使我们的理论确切条件不完全满足，规模定律仍然成立。