调和离散-连续鸿沟：迈向稀疏通信的数学理论
机器学习
2021-04-05 v1
摘要
神经网络与其他机器学习模型计算连续表示，而人类使用离散符号通信。调和这两种通信形式对于生成人类可读的解释或学习离散潜变量模型是可取的，同时保持端到端可微性。一些现有方法（如Gumbel-softmax变换）构建在零温度极限下为离散近似的连续松弛，而另一些（如sparsemax变换与硬crete分布）产生离散/连续混合体。本文中，我们为这些混合体建立严格的理论基础。我们的出发点是定义在概率单纯形面格上的一个新的“直和”基测度。由该测度，我们引入一个新的熵函数，它将离散熵与微分熵作为特例包含，并具有基于码最优性的解释，以及另外两个推广互信息与Kullback-Leibler散度的信息论对应量。最后，我们引入“混合语言”作为混合符号串，以及一种新的识别一类正则混合语言的混合加权有限状态自动机，推广了正则语言的闭包性质。
引用
@article{arxiv.2104.00755,
title = {Reconciling the Discrete-Continuous Divide: Towards a Mathematical Theory of Sparse Communication},
author = {André F. T. Martins},
journal= {arXiv preprint arXiv:2104.00755},
year = {2021}
}