DNS：用于集成强化学习的基于行列式点过程的神经网络采样器
机器学习
2022-05-18 v3
摘要
神经网络集成正成为推进深度强化学习算法前沿的一项重要工具。然而，训练集成中如此大量的神经网络具有极高的计算成本，这可能成为训练大规模系统的阻碍。在本文中，我们提出了 DNS：一种基于行列式点过程的神经网络采样器，它专门使用 k-dpp 在每个训练步骤对神经网络子集进行采样以进行反向传播，从而显著减少训练时间和计算成本。我们将 DNS 集成到 REDQ 中用于连续控制任务，并在 MuJoCo 环境中进行评估。我们的实验表明，DNS 增强的 REDQ 在平均累积奖励方面优于基线 REDQ，并且以 FLOPS 衡量，使用不到 50% 的计算量即可实现这一效果。
引用
@article{arxiv.2201.13357,
title = {DNS: Determinantal Point Process Based Neural Network Sampler for Ensemble Reinforcement Learning},
author = {Hassam Sheikh and Kizza Frisbee and Mariano Phielipp},
journal= {arXiv preprint arXiv:2201.13357},
year = {2022}
}
备注
Accepted for Publication at ICML 2022