类条件压缩与解耦：弥合神经网络与朴素贝叶斯分类器之间的鸿沟
机器学习
2019-06-07 v1 信息论
math.IT
机器学习
摘要
在这份汇报进行中工作的草稿中，我们 1）通过调整信息瓶颈泛函，将压缩项替换为类条件压缩；2）利用与类条件解耦相关的变分界松弛该泛函；3）将该泛函作为随机神经网络的训练目标；4）展示所学隐表示可用于朴素贝叶斯分类器。我们继而建议沿 Nonlinear Information Bottleneck [Kolchinsky 等, 2018]、Deep Variational Information Bottleneck [Alemi 等, 2017] 与 Information Dropout [Achille and Soatto, 2018] 的思路开展一系列实验。我们进一步建议一种解码器架构为参数化朴素贝叶斯解码器的神经网络。
引用
@article{arxiv.1906.02576,
title = {Class-Conditional Compression and Disentanglement: Bridging the Gap between Neural Networks and Naive Bayes Classifiers},
author = {Rana Ali Amjad and Bernhard C. Geiger},
journal= {arXiv preprint arXiv:1906.02576},
year = {2019}
}
备注
draft; work in progress