机器学习中的公平性过拟合：信息论视角
机器学习
2025-06-10 v1 人工智能
信息论
math.IT
摘要
尽管在高风险应用中使用机器学习模型促进公平性取得了显著进展，但现有方法往往修改训练过程（如通过正则化或其他干预），且缺乏对训练期间获得的公平性是否能泛化到未见数据的形式性保证。虽然预测性能方面的过拟合问题已得到广泛研究，但就公平性损失而言的过拟合问题受到的关注远不足。本文提出了通过信息论视角分析公平性泛化误差的理论框架。我们的新颖界限技术基于 Efron-Stein 不等式，使我们能够推导出基于互信息（Mutual Information, MI）和条件互信息（Conditional Mutual Information, CMI）的紧致信息论公平性泛化界限。我们的实证结果验证了这些界限在多种公平性感知学习算法中的紧致性和实际相关性。我们的框架为指导设计改善公平性泛化的算法提供了宝贵的见解。
引用
@article{arxiv.2506.07861,
title = {Fairness Overfitting in Machine Learning: An Information-Theoretic Perspective},
author = {Firas Laakom and Haobo Chen and Jürgen Schmidhuber and Yuheng Bu},
journal= {arXiv preprint arXiv:2506.07861},
year = {2025}
}
备注
38 pages