分析Deep Q-Networks中自主处理多个交叉口的知识迁移
机器学习
2017-05-04 v1 人工智能
摘要
我们分析了以Deep Q-Network表示的自主处理某类交叉口的知识如何迁移到其他类型交叉口（任务）。我们将交叉口处理视为深度强化学习问题，其将状态-动作Q函数近似为深度神经网络。使用交通模拟器，我们表明直接将为某类交叉口训练的网络复制到另一类交叉口会降低成功率。我们还表明，当一个网络先在任务A上预训练然后在任务B上微调时，所得网络不仅在任务B上的表现优于仅在任务A上训练的网络，而且还保留了关于任务A的知识。最后，我们考察了一种终身学习设定，其中我们在五种不同类型交叉口上依次训练单一网络，并显示所得网络对先前任务的知识表现出灾难性遗忘。该结果表明需要长期记忆组件来保留知识。
引用
@article{arxiv.1705.01197,
title = {Analyzing Knowledge Transfer in Deep Q-Networks for Autonomously Handling Multiple Intersections},
author = {David Isele and Akansel Cosgun and Kikuo Fujimura},
journal= {arXiv preprint arXiv:1705.01197},
year = {2017}
}
备注
Submitted to IEEE International Conference on Intelligent Transportation Systems (ITSC 2017)