信息瓶颈的更紧界及其在深度学习中的应用
机器学习
2024-02-13 v1 人工智能
信息论
math.IT
摘要
深度神经网络 (DNNs) 学习由其下游任务、目标函数和其他参数诱导的潜在表示。所学表示的质量影响 DNN 的泛化能力和新兴潜在空间的一致性。信息瓶颈 (Information Bottleneck, IB) 提供了一个假设最优的数据建模范式，但往往难以处理。最近的努力通过将受变分自编码器 (VAE) 启发的变分方法应用于近似互信息的界，将 DNN 与 IB 相结合，从而提高了对对抗攻击的鲁棒性。本文引入了一种新的、更紧的 IB 变分界，提升了先前受 IB 启发的 DNN 的性能。这些进展加强了 IB 及其变分近似作为数据建模范式的合理性，并提供了一种简单的方法来显著增强分类器 DNN 的对抗鲁棒性。
引用
@article{arxiv.2402.07639,
title = {Tighter Bounds on the Information Bottleneck with Application to Deep Learning},
author = {Nir Weingarten and Zohar Yakhini and Moshe Butman and Ran Gilad-Bachrach},
journal= {arXiv preprint arXiv:2402.07639},
year = {2024}
}
备注
10 pages, 5 figures, code included in github repo