面向私有最坏情况组优化的自适应抽样与裁剪

机器学习方法为人类相关任务提供服务的关键要求是其公平性，即它们应对来自不同社会群体的个体表现相当好。另一个同样重要的要求是尊重用户数据的隐私。虽然已有技术分别针对这两个方面进行解决——例如分别使用最坏情况组优化和差分隐私 SGD——但这两者常常相互矛盾，目前尚无实用方法能够同时实现这两个要求。本文克服了这一问题，提出了一种以差分隐私方式优化最坏情况组准确率的算法。我们的主要贡献是 ASC（Adaptively Sampled and Clipped Worst-case Group Optimization），它自适应地控制每个组梯度贡献的抽样率和裁剪阈值。从而能够在保持足够低的噪声以保留模型实用性的同时，重新加权训练目标以优先学习难以掌握的组别。我们的实验表明，ASC 在不牺牲整体平均准确率的前提下，实现了显著高于先前工作的最坏情况组准确率。