GeoSeq2Seq：信息几何序列到序列网络
机器学习
2018-01-09 v2 机器学习
摘要
Fisher 信息度量是信息几何的重要基础，它使我们能够近似概率分布的局部几何结构。诸如序列到序列 (Seq2Seq) 网络之类的循环神经网络最近已被用于在语音翻译或图像描述生成方面产生最先进的性能，但迄今为止忽略了它们迭代学习的潜在嵌入的几何结构。我们提出了信息几何 Seq2Seq (GeoSeq2Seq) 网络，弥合了深度循环神经网络与信息几何之间的差距。具体而言，循环网络提供的潜在嵌入被编码为参数化高斯混合模型的 Fisher 核，这是计算机视觉中常见的形式化方法。我们利用此类网络通过学习邻接矩阵来预测图中两个节点之间的最短路径；我们的结果表明，对于此类问题，潜在嵌入的概率表示优于非概率嵌入 10-15%。
引用
@article{arxiv.1710.09363,
title = {GeoSeq2Seq: Information Geometric Sequence-to-Sequence Networks},
author = {Alessandro Bay and Biswa Sengupta},
journal= {arXiv preprint arXiv:1710.09363},
year = {2018}
}