Bottlenecks CLUB：统一复杂性、泄露与效用之间的信息论权衡
机器学习
2022-07-12 v1 密码学与安全
信息论
math.IT
统计理论
统计理论
摘要
瓶颈问题是一类重要的优化问题，近年来在机器学习和信息论领域受到越来越多的关注。它们被广泛用于生成模型、公平机器学习算法、隐私保障机制的设计，并作为各种多用户通信问题中的信息论性能界出现。在这项工作中，我们提出了一类通用的优化问题族，称为复杂性-泄露-效用瓶颈（CLUB）模型，它（i）提供了一个统一的理论框架，推广了大多数最先进的信息论隐私模型文献，（ii）对流行的生成模型和判别模型建立了新的解释，（iii）为生成式压缩模型构建了新的见解，以及（iv）可用于公平生成模型。我们首先将CLUB模型表述为一个复杂性约束的隐私-效用优化问题。然后将其与密切相关的瓶颈问题相联系，即信息瓶颈（IB）、隐私漏斗（PF）、确定性IB（DIB）、条件熵瓶颈（CEB）和条件PF（CPF）。我们表明CLUB模型推广了所有这些问题的以及大多数其他信息论隐私模型。接着，我们通过采用神经网络来参数化相关信息量的变分近似，构建了深度变分CLUB（DVCLUB）模型。基于这些信息量，我们给出了有监督和无监督DVCLUB模型的统一目标。利用无监督设置下的DVCLUB模型，我们通过最优传输（OT）问题将其与最先进的生成模型相联系，如变分自编码器（VAEs）、生成对抗网络（GANs），以及Wasserstein GAN（WGAN）、Wasserstein自编码器（WAE）和对抗自编码器（AAE）模型。然后我们表明DVCLUB模型也可用于公平表示学习问题，其目标是在机器学习模型的训练阶段缓解不期望的偏差。我们在colored-MNIST和CelebA数据集上进行了广泛的定量实验，并提供了公开实现，以评估和分析CLUB模型。
引用
@article{arxiv.2207.04895,
title = {Bottlenecks CLUB: Unifying Information-Theoretic Trade-offs Among Complexity, Leakage, and Utility},
author = {Behrooz Razeghi and Flavio P. Calmon and Deniz Gunduz and Slava Voloshynovskiy},
journal= {arXiv preprint arXiv:2207.04895},
year = {2022}
}