基于信息漏斗与瓶颈的可信表示学习
机器学习
2025-11-06 v2
摘要
确保机器学习中的可信性——通过平衡效用、公平性与隐私——仍是一项关键挑战，尤其在表示学习中。本工作中，我们研究一系列紧密相关的信息论目标，包括信息漏斗与瓶颈，旨在从数据中提取不变表示。我们引入了带边信息的条件隐私漏斗（CPFSI），该族中的一种新形式，适用于全监督与半监督设定。鉴于这些目标难以处理，我们通过 amortized 变分推断导出基于神经网络的近似。我们系统分析了效用、不变性与表示保真度之间的权衡，为这些方法的帕累托前沿提供新见解。我们的结果表明，CPFSI 能有效平衡这些竞争目标，并频繁优于现有方法。此外，我们展示通过在 CPFSI 的预测后验上干预敏感属性，可在保持预测性能的同时增强公平性。最后，我们关注这些方法的实际适用性，特别是从数据稀缺环境中的表格数据集学习鲁棒且公平的表示——这类模态下这些方法往往尤为相关。
引用
@article{arxiv.2211.01446,
title = {Trustworthy Representation Learning via Information Funnels and Bottlenecks},
author = {João Machado de Freitas and Bernhard C. Geiger},
journal= {arXiv preprint arXiv:2211.01446},
year = {2025}
}
备注
Published in Machine Learning (Springer), vol. 114, no. 12, Article 267, 2025