多任务强化学习中的群体公平性
机器学习
2025-03-12 v1 人工智能
摘要
本文探讨了强化学习（RL）应用中的一个关键社会考量：在多任务环境中确保不同人口统计群体之间的公平结果。虽然先前工作已探索了单任务RL中的公平性，但许多现实世界应用本质上是多任务的，需要策略在所有任务上保持公平性。我们提出了一种多任务群体公平性的新RL公式，并设计了一种显式同时强制执行多任务公平性约束的约束优化算法。我们证明了所提出的算法在有限时间范围回合制设定下以高概率不违反公平性约束，且具有次线性遗憾。通过在RiverSwim和MuJoCo环境中的实验，我们证明与缺乏显式多任务公平性约束的先前方法相比，我们的方法在有限时间范围和无限时间范围设定下都能更好地确保跨多任务的群体公平性。结果表明，所提出的算法在不同人口统计群体和任务之间实现了更小的公平差距，同时保持了可比的回报，表明其在解决现实世界多任务RL应用中的公平性问题方面的潜力。
引用
@article{arxiv.2503.07817,
title = {Group Fairness in Multi-Task Reinforcement Learning},
author = {Kefan Song and Runnan Jiang and Rohan Chandra and Shangtong Zhang},
journal= {arXiv preprint arXiv:2503.07817},
year = {2025}
}