中文

利用斜决策森林增强在线场景下的群体公平性

机器学习 2024-04-30 v4

摘要

公平性,尤其是群体公平性,是机器学习系统中的一个重要考量。最常采用的群体公平性增强技术是在处理过程中的方法,其在训练过程中依赖公平性目标(如人口均等)与任务特定目标(如交叉熵)的混合。然而,当数据以在线方式逐条到达时,优化此类公平性目标面临若干挑战。具体而言,群体公平性目标是利用不同人口群体上预测的期望来定义的。在在线场景中,算法每次仅能访问单个样本,估计群体公平性目标相较于任务特定目标在每个时间步都需要额外存储与显著更多的计算(如前向/反向传播)。本文提出 Aranyani,一种斜决策树的集成,以在在线场景中做出公平决策。Aranyani 的层次树结构实现了参数隔离,并允许我们利用先前决策的聚合统计高效计算公平性梯度,从而免去额外存储与前向/反向传播之需。我们还提出一个高效训练 Aranyani 的框架,并从理论上分析其若干性质。我们在 5 个公开基准(包括视觉与语言数据集)上开展实证评估,表明 Aranyani 相较基线方法实现了更优的准确率-公平性权衡。

关键词

引用

@article{arxiv.2310.11401,
  title  = {Enhancing Group Fairness in Online Settings Using Oblique Decision Forests},
  author = {Somnath Basu Roy Chowdhury and Nicholas Monath and Ahmad Beirami and Rahul Kidambi and Avinava Dubey and Amr Ahmed and Snigdha Chaturvedi},
  journal= {arXiv preprint arXiv:2310.11401},
  year   = {2024}
}

备注

ICLR 2024 (Spotlight)