可扩展的信息最小化学习

信息最小化学习（infomin learning）的任务旨在学习一个具有高效用但对指定目标无信息的表示，后者通过最小化表示与目标之间的互信息来实现。它具有广泛的应用，从针对受保护属性训练公平预测模型，到具有解耦表示的无监督学习。近期关于信息最小化学习的工作主要使用对抗训练，这涉及训练一个神经网络来估计互信息或其代理，因此速度慢且难以优化。借鉴切片技术的最新进展，我们提出了一种新的信息最小化学习方法，其使用一种新颖的互信息代理度量。我们进一步推导了该代理度量的一个精确且可解析计算的近似，从而免去了构建基于神经网络的互信息估计器的需要。在算法公平性、解耦表示学习和域适应上的实验验证了我们的方法能在有限时间预算下有效去除不需要的信息。