深度神经网络瓶颈处的信息去除
机器学习
2022-10-04 v1 人工智能
摘要
如今深度学习模型被广泛部署以解决极其多样的任务。通常，借助“大数据”的可用性，深度神经网络被作为黑盒训练，在其输出处最小化目标函数。然而，这无法控制某些特定特征（如性别或种族）在模型中的传播，以求解某些不相关的任务。这在隐私领域（考虑不期望信息的传播）和偏见领域（考虑这些特征可能被用于求解给定任务）均引发问题。本工作中我们提出 IRENE，一种在深度神经网络瓶颈处实现信息去除的方法，其显式最小化待保持“私有”的特征与目标之间的估计互信息。在合成数据集与 CelebA 上的实验验证了所提方法的有效性，并为开发保证深度神经网络中信息去除的方法开辟了道路。
引用
@article{arxiv.2210.00891,
title = {Information Removal at the bottleneck in Deep Neural Networks},
author = {Enzo Tartaglione},
journal= {arXiv preprint arXiv:2210.00891},
year = {2022}
}