变分编码器与自编码器：信息论推断与闭式解
信息论
2021-07-15 v3 math.IT
概率论
摘要
本工作提出了与编码器和自编码器相关的问题表述，旨在阐明变分公式并建立与信息论概念的清晰联系。具体而言，考虑了具有不同输入层次的四个问题：a) 给定数据、似然和先验分布；b) 给定数据和似然；c) 给定数据和先验；d) 指定数据和参数的维度。前两个问题寻求编码器（或后验），后两个问题寻求自编码器（即后验和似然）。我们采用变分贝叶斯设定，并针对所得优化问题提供了详细推导。此后，采用线性高斯设定，推导了闭式解。还进行了数值实验以验证预期行为并评估收敛性质。明确了与率失真理论、信息瓶颈理论的联系，并探讨了相关的统计量充分性概念。本工作的动机之一是呈现与变分推断和自编码器相关的理论及学习动态，并从计算科学视角揭示信息论概念。
引用
@article{arxiv.2101.11428,
title = {Variational Encoders and Autoencoders : Information-theoretic Inference and Closed-form Solutions},
author = {Karthik Duraisamy},
journal= {arXiv preprint arXiv:2101.11428},
year = {2021}
}