TATi——热力学分析工具包：基于 TensorFlow 的机器学习后验采样软件
统计理论
2020-03-05 v2 机器学习
机器学习
统计理论
摘要
随着 GPU 辅助硬件以及 TensorFlow 和 PyTorch 等成熟高效软件平台的出现，神经网络的贝叶斯后验采样变得可行。在本文中，我们讨论基于马尔可夫链蒙特卡罗方法的机器学习贝叶斯参数化，具体而言是基于离散化随机微分方程（如 Langevin 动力学）以及采用行走子集合以增强采样的扩展系统方法。我们通过对应用于 MNIST 数据集的神经网络损失景观进行研究（并可视化）来略窥这种密集型采样方法的潜力。此外，我们研究了如何通过集合拟牛顿预条件方法显著增强采样效率本身。本文伴随一个新 TensorFlow 软件包——热力学分析工具包（Thermodynamic Analytics ToolkIt）的发布，该软件包用于计算实验。
引用
@article{arxiv.1903.08640,
title = {TATi-Thermodynamic Analytics ToolkIt: TensorFlow-based software for posterior sampling in machine learning applications},
author = {Frederik Heber and Zofia Trstanova and Benedict Leimkuhler},
journal= {arXiv preprint arXiv:1903.08640},
year = {2020}
}
备注
25 pages: textual improvements with results unchanged, sections on TATi architecture and software performance removed for size constraints, extended EQN parts, added MNIST nonlinear perceptron example