基于染色网络的强化学习紧凑架构搜索
神经与进化计算
2021-04-07 v4 人工智能
机器学习
机器人学
摘要
我们提出了一种神经架构搜索算法，通过以高度可扩展且直观的方式结合 ENAS 和 ES，来构建紧凑的强化学习（RL）策略。通过将 NAS 的组合搜索空间定义为划分为同权类（染色）的不同边划分集合，我们以高效学习的边划分来表示紧凑架构。对于多个 RL 任务，我们成功学习了对应于仅需少至 个权重参数参数化的有效策略的染色，相比原始策略提供 >90% 的压缩率，相比基于 Toeplitz 矩阵的最先进紧凑策略提供 6 倍压缩率，同时仍保持良好的奖励。我们认为，我们的工作是首批尝试为 RL 问题提出训练结构化神经网络架构的严谨方法之一，这类问题在存储和计算资源受限的移动机器人领域尤为受关注。
引用
@article{arxiv.1907.06511,
title = {Reinforcement Learning with Chromatic Networks for Compact Architecture Search},
author = {Xingyou Song and Krzysztof Choromanski and Jack Parker-Holder and Yunhao Tang and Wenbo Gao and Aldo Pacchiano and Tamas Sarlos and Deepali Jain and Yuxiang Yang},
journal= {arXiv preprint arXiv:1907.06511},
year = {2021}
}
备注
Published at ICLR 2020 Neural Architecture Search Workshop. This paper is deprecated; please see arXiv:2101.07415 for the newer version