面向强化学习的可微架构搜索
机器学习
2022-11-16 v4 人工智能
计算机视觉与模式识别
摘要
本文中，我们探究一个基本问题：基于梯度的神经架构搜索（NAS）技术在多大程度上适用于强化学习（RL）？以原始 DARTS 作为便利基线，我们发现所发现的离散架构在离线与在线策略 RL 算法下的离散与连续动作空间环境中，相比人工架构设计最高可实现 250% 的性能，且仅多耗费 3 倍计算时间。此外，通过大量消融实验，我们系统性地验证：DARTS 不仅在其超网阶段正确地提升了操作的权重，而且比随机搜索高效地逐步改进所得离散单元达 30 倍，表明 DARTS 出人意料地是改进 RL 中架构的有效工具。
引用
@article{arxiv.2106.02229,
title = {Differentiable Architecture Search for Reinforcement Learning},
author = {Yingjie Miao and Xingyou Song and John D. Co-Reyes and Daiyi Peng and Summer Yue and Eugene Brevdo and Aleksandra Faust},
journal= {arXiv preprint arXiv:2106.02229},
year = {2022}
}
备注
Published as a conference paper at the first Automated Machine Learning Conference (AutoML-Conf) 2022. Code can be found at https://github.com/google/brain_autorl/tree/main/rl_darts