公平表征学习的再思考
机器学习
2024-05-29 v1 人工智能
摘要
公平表征学习 (FRL) 的目标是通过学习数据表征来缓解机器学习模型中的偏见，既能在下游任务上实现高准确率，又能最小化基于敏感属性的歧视。近期许多工作对 FRL 方法的评估主要聚焦于下游公平性和准确性之间的tradeoff，尤其是以单一任务（用于近似训练期间表示效用的代理任务）来衡量。这种做法激励仅保留与代理任务相关的特征，同时弃置其他信息。在极端情况下，这会导致所学表征坍缩为平凡的二元值，使其在迁移设置中无法使用。在本文中，我们认为这一方法本质上与 FRL 的原始动机不符，后者源自在训练时未知的众多下游任务（迁移任务）的场景。为此，我们提出应将 FRL 方法的评估协议重新聚焦于迁移任务上的性能。实施此类评估的一个关键挑战是缺乏充分的基准测试。我们通过提出满足四个标准的基准测试来解决此问题，基于这些标准，我们提出了 TransFair，一个满足这些标准的基准测试，包含对流行 FRL 数据集的新型变体，配有精心校准的迁移任务。在此设置下，我们重新评估了最先进的 FRL 方法，发现它们常常过度拟合到代理任务，从而在某些迁移任务上表现不佳。我们进一步强调了任务无关学习信号对 FRL 方法的重要性，因为它们可以导致更具可迁移性的表征。
引用
@article{arxiv.2405.18161,
title = {Back to the Drawing Board for Fair Representation Learning},
author = {Angéline Pouget and Nikola Jovanović and Mark Vero and Robin Staab and Martin Vechev},
journal= {arXiv preprint arXiv:2405.18161},
year = {2024}
}