面向流式学习的记忆高效经验回放
机器学习
2019-02-26 v2 人工智能
机器学习
摘要
在监督式机器学习中，智能体通常训练一次后即被部署。尽管这在静态环境下表现良好，机器人常在变化的环境中运行，必须从数据流中快速学习新事物。在此称为流式学习的范式下，学习器以在线、单次遍历的方式从不能假设为独立同分布（iid）的数据流中学习。流式学习会使传统深度神经网络（DNN）失效，原因有二：1）它们需要多次遍历整个数据集；2）非 iid 数据会导致灾难性遗忘。针对这两个问题的旧有解决方法是回放。为学习新样本，回放将其与先前样本混合，然后用该混合样本更新 DNN。完全回放缓慢且耗费内存，因其存储所有已观测样本，且其在现代 DNN 中防止灾难性遗忘的有效性尚未被研究。本文描述用于记忆高效回放的 ExStream 算法，并与其他替代方法比较。我们发现完全回放能在多种流式学习设定下消除灾难性遗忘，而 ExStream 以远少的内存与计算量取得了良好表现。
引用
@article{arxiv.1809.05922,
title = {Memory Efficient Experience Replay for Streaming Learning},
author = {Tyler L. Hayes and Nathan D. Cahill and Christopher Kanan},
journal= {arXiv preprint arXiv:1809.05922},
year = {2019}
}
备注
To appear in the IEEE International Conference on Robotics and Automation (ICRA) 2019