深度强化学习中基于动态稀疏训练的自动噪声过滤
机器学习
2023-02-14 v1 人工智能
摘要
未来的机器人需要在执行不同任务时从噪声中区分有用信息。例如，家用机器人可能持续接收关于家庭的大量信息，但只需关注极小子集以成功完成当前家务。过滤含无关数据的干扰性输入在强化学习文献中鲜受关注。为此，我们构建了强化学习中称为极噪声环境（ENE）的问题设定，其中至多 的输入特征为纯噪声。智能体需检测哪些特征提供关于环境状态的任务相关信息。进而，我们提出称为自动噪声过滤（ANF）的新方法，其将动态稀疏训练原理与多种深度强化学习算法协同使用。稀疏输入层学习将其连接聚焦于任务相关特征，使得 ANF-SAC 与 ANF-TD3 以大幅优势超越标准 SAC 与 TD3，同时权重使用减少达 。此外，我们为 ENE 设计了迁移学习设定，在 1M 时间步后置换环境所有特征，以模拟随着世界演化其他信息源可能变得相关。同样，ANF 在最终性能与样本复杂度上均超越基线。我们的代码见 https://github.com/bramgrooten/automatic-noise-filtering
引用
@article{arxiv.2302.06548,
title = {Automatic Noise Filtering with Dynamic Sparse Training in Deep Reinforcement Learning},
author = {Bram Grooten and Ghada Sokar and Shibhansh Dohare and Elena Mocanu and Matthew E. Taylor and Mykola Pechenizkiy and Decebal Constantin Mocanu},
journal= {arXiv preprint arXiv:2302.06548},
year = {2023}
}
备注
Accepted as full-paper at AAMAS 2023