分离-效用帕累托前沿：信息论表征

我们通过信息论视角研究效用与分离之间（即要求预测在真实结果的条件下独立于敏感属性）的帕累托前沿（最优权衡）。我们证明了效用-分离帕累托前沿的信息论表征，确立了其凹性，从而证明了分离的边际成本随效用的递增。此外，我们表述了该权衡变得严格的条件，为实际中的权衡选择提供了指导。基于理论表征，我们开发了一个基于条件互信息（CMI）的经验正则化器，用于衡量给定真实结果下预测与敏感属性之间的条件互信息。CMI 正则化器与任何通过梯度-based 优化训练的深度模型兼容，作为残余分离违规的标量监控器，提供了训练期间可计算的保证。最后，数值实验支持我们的理论发现：在 COMPAS、UCI Adult、UCI Bank 和 CelebA 数据集上，所提出的方法在显著减少分离违规的同时，与既定基线方法相当或更高地实现效用。该研究因此提供了一种可证明、稳定且灵活的用于强制执行分离的深度学习方法。