用于概率时间序列生成的注意力高斯过程
机器学习
2021-02-11 v1 机器学习
摘要
序列转导大多由循环网络完成，这类网络计算需求高且常严重低估不确定性。我们提出一种计算高效的基于注意力的网络与高斯过程回归相结合以生成实值序列的模型，称为Attentive-GP。所提模型不仅通过摒弃循环和卷积提高了训练效率，还以贝叶斯表示学习了因子化生成分布。然而，高斯过程的存在排除了注意力网络训练中常用的小批量方法。因此，我们开发了块式训练算法，使网络可进行小批量训练而高斯过程使用全批量训练，从而得到可扩展的训练方法。该算法已被证明收敛，且所求解质量相当甚至更优。由于算法不假设特定网络架构，它可用于多种混合模型，如计算与内存资源稀缺时带核机器层的神经网络。
引用
@article{arxiv.2102.05208,
title = {Attentive Gaussian processes for probabilistic time-series generation},
author = {Kuilin Chen and Chi-Guhn Lee},
journal= {arXiv preprint arXiv:2102.05208},
year = {2021}
}