HiPPO：基于最优多项式投影的循环记忆
机器学习
2020-10-26 v2 机器学习
摘要
从序列数据学习的一个核心问题是以增量方式在更多数据被处理时表示累积历史。我们引入一个通用框架（HiPPO），用于通过将连续信号与离散时间序列投影到多项式基上进行在线压缩。给定指定过去每个时间步重要性的度量，HiPPO对自然的在线函数逼近问题产生最优解。作为特例，我们的框架从第一性原理简短推导了最近的Legendre记忆单元(LMU)，并推广了诸如GRU等循环神经网络中普遍存在的门控机制。该形式化框架产生了一种新的记忆更新机制（HiPPO-LegS），其随时间缩放以记住全部历史，避免对时间尺度的先验。HiPPO-LegS具有时间尺度鲁棒性、快速更新和有界梯度的理论优势。通过将记忆动态整合进循环神经网络，HiPPO RNN能凭经验捕捉复杂时间依赖。在基准置换MNIST(permuted MNIST)数据集上，HiPPO-LegS创下了98.3%的新最优准确率。最后，在一个测试对分布外时间尺度和缺失数据鲁棒性的新型轨迹分类任务上，HiPPO-LegS比RNN和神经ODE基线高出25—40%的准确率。
引用
@article{arxiv.2008.07669,
title = {HiPPO: Recurrent Memory with Optimal Polynomial Projections},
author = {Albert Gu and Tri Dao and Stefano Ermon and Atri Rudra and Christopher Re},
journal= {arXiv preprint arXiv:2008.07669},
year = {2020}
}