有界信息率变分自编码器
机器学习
2018-07-26 v2 信息论
math.IT
机器学习
摘要
本文介绍了变分自编码器（VAE）家族的一个新成员，其对潜层传递的信息率进行约束。潜层被解释为通信信道，通过施加预设的信噪比来限定其信息率。这一新约束包含了输入变量与潜变量之间的互信息，并自然地与常规VAE中所用观测数据的似然目标相结合。由此得到的有界信息率变分自编码器（BIR-VAE）提供了一种有意义的潜表示，其信息分辨率可由系统设计者直接用比特指定。该速率约束可用于防止过训练，且该方法自然便于按设定速率对潜变量进行量化。我们的实验证实，BIR-VAE具有有意义的潜表示，且其性能至少与最先进的竞争算法相当，但计算复杂度更低。
引用
@article{arxiv.1807.07306,
title = {Bounded Information Rate Variational Autoencoders},
author = {D. T. Braithwaite and W. B. Kleijn},
journal= {arXiv preprint arXiv:1807.07306},
year = {2018}
}
备注
Presented at KDD 2018 Deep Learning Day. Minor changes and correction of rate calculations, overall results remain the same