深度自编码器在高效嵌入式强化学习中的应用
机器学习
2019-03-26 v1 人工智能
摘要
在自主嵌入式系统中，减少在真实世界中采取的行动数量以及学习策略所需的能量通常至关重要。从高维图像表征训练强化学习智能体可能非常昂贵且耗时。自编码器是一种深度神经网络，用于将像素化图像等高维数据压缩为小的潜表征。该压缩模型对于高效学习策略至关重要，尤其是在嵌入式系统上学习时。我们已在 NVIDIA Jetson TX2 嵌入式 GPU 上实现该模型，并针对不同的 CPU/GPU 核心组合、频率与模型参数评估了自编码器的功耗、吞吐量与能耗。此外，我们展示了自编码器生成的重构以分析所生成压缩表征的质量以及强化学习智能体的性能。最后，我们给出了在嵌入式系统上训练这些模型的可行性及其在开发自主策略中实用性的评估。使用自编码器，我们相比带有卷积特征提取器的基线 RL 智能体实现了 4-5 的性能提升，同时功耗低于 2W。
引用
@article{arxiv.1903.10404,
title = {On the use of Deep Autoencoders for Efficient Embedded Reinforcement Learning},
author = {Bharat Prakash and Mark Horton and Nicholas R. Waytowich and William David Hairston and Tim Oates and Tinoosh Mohsenin},
journal= {arXiv preprint arXiv:1903.10404},
year = {2019}
}