基于变分能量模型的信息论 GAN 压缩
计算机视觉与模式识别
2023-03-29 v1 机器学习
摘要
我们提出了一种用于生成对抗网络压缩的信息论知识蒸馏方法，其目标是通过基于能量模型的变分优化来最大化教师网络与学生网络之间的互信息。由于在连续域中直接计算互信息难以处理，我们的方法通过最大化互信息的变分下界来交替优化学生网络。为获得紧下界，我们引入了一个依赖深度神经网络的能量模型来表示灵活的变分分布，该分布能有效处理高维图像并考虑像素间的空间依赖关系。由于所提方法是一种通用优化算法，它可方便地嵌入任意生成对抗网络乃至稠密预测网络（如图像增强模型）中。我们证明该算法在与若干现有模型结合时，在生成对抗网络的模型压缩上持续取得优异性能。
引用
@article{arxiv.2303.16050,
title = {Information-Theoretic GAN Compression with Variational Energy-based Model},
author = {Minsoo Kang and Hyewon Yoo and Eunhee Kang and Sehwan Ki and Hyong-Euk Lee and Bohyung Han},
journal= {arXiv preprint arXiv:2303.16050},
year = {2023}
}
备注
Accepted at Neurips2022