中文

机器学习模型中渐近公平参与:最优控制视角

机器学习 2023-11-20 v1

摘要

最先进的机器学习模型在测试训练数据集中代表性不足的人口统计群体时,性能常出现退化。该问题主要在数据分布静态的监督学习设定中被研究。然而,现实应用常涉及由已部署模型引起的分布偏移。例如,对少数群体用户的性能差异可导致高客户流失率,从而由于少数用户的缺失,活跃用户提供的可用数据发生偏斜。该反馈效应进一步加剧了未来步骤中不同人口群体间的差异。为解决此问题,我们提出渐近公平参与作为维持所有人口群体长期模型性能的条件。在本工作中,我们旨在以最优控制公式解决实现渐近公平参与的问题。此外,我们基于现有进化种群动力学文献设计了一种代理留存系统,以近似活跃用户数上分布偏移的动力学,由此将实现渐近公平参与的目标表述为最优控制问题,并将控制变量视为模型参数。我们应用 Pontryagin 极大值原理的高效实现来估计最优控制解。为评估所提方法的有效性,我们设计了一个通用仿真环境,模拟用户留存与模型性能间反馈效应的种群动力学。当我们将所得模型部署至仿真环境时,最优控制解考虑了长期规划,并相较现有基线方法取得了更优性能。

关键词

引用

@article{arxiv.2311.10223,
  title  = {Asymptotically Fair Participation in Machine Learning Models: an Optimal Control Perspective},
  author = {Zhuotong Chen and Qianxiao Li and Zheng Zhang},
  journal= {arXiv preprint arXiv:2311.10223},
  year   = {2023}
}

备注

34 pages