信息论视角下的分块分层解耦表示
信息论
2021-01-22 v1 机器学习
math.IT
摘要
我们提出一种新颖且具有理论依据的模型——分块分层变分自编码器（BHiVAE），以获得更解耦的表示。众所周知，信息论对网络具有优良的解释意义，因此我们从信息论的角度着手解决解耦问题。BHiVAE 主要源于信息瓶颈理论与信息最大化原理。我们的主要思想是：(1) 神经元分块，不仅使用单个神经元节点表示属性，从而可包含足够信息；(2) 创建不同属性位于不同层上的分层结构，以便我们在每层内分割信息，确保最终表示解耦。此外，我们分别给出了有监督与无监督的 BHiVAE，其差异主要体现在不同分块间的信息分离上。在有监督 BHiVAE 中，我们利用标签信息作为分块分离的标准。在无监督 BHiVAE 中，在无额外信息的情况下，我们使用总关联（TC）度量来实现独立性，并设计了一种新的潜空间先验分布以引导表示学习。实验中也展现出优异的解耦结果及在表示学习中的卓越分类精度。
引用
@article{arxiv.2101.08408,
title = {Blocked and Hierarchical Disentangled Representation From Information Theory Perspective},
author = {Ziwen Liu and Mingqiang Li and Congying Han},
journal= {arXiv preprint arXiv:2101.08408},
year = {2021}
}