Horizon：Facebook 的开源应用强化学习平台
机器学习
2019-09-06 v5 人工智能
机器学习
摘要
本文介绍 Horizon，即 Facebook 的开源应用强化学习（RL）平台。Horizon 是一个端到端平台，旨在解决工业应用 RL 问题，其中数据集规模庞大（数百万至数十亿条观测），反馈环路缓慢（相对于模拟器），且实验必须谨慎进行，因为它们不在模拟器中运行。与其他通常为了快速原型设计和实验而设计的 RL 平台不同，Horizon 以生产用例为首要考量。该平台包含训练流行深度 RL 算法的工作流，并涵盖数据预处理、特征变换、分布式训练、反事实策略评估、优化服务以及基于模型的数据理解工具。我们还展示并描述了真实案例，其中使用 Horizon 训练的强化学习模型在 Facebook 显著优于并替代了监督学习系统。
引用
@article{arxiv.1811.00260,
title = {Horizon: Facebook's Open Source Applied Reinforcement Learning Platform},
author = {Jason Gauci and Edoardo Conti and Yitao Liang and Kittipat Virochsiri and Yuchen He and Zachary Kaden and Vivek Narayanan and Xiaohui Ye and Zhengxing Chen and Scott Fujimoto},
journal= {arXiv preprint arXiv:1811.00260},
year = {2019}
}
备注
10 pages