OmniSafe：一个加速安全强化学习研究的基础设施
机器学习
2023-05-17 v1 人工智能
摘要
由强化学习（RL）算法赋能的 AI 系统蕴含着推动社会进步的巨大潜力，但其部署常因显著的安全问题而受阻。尤其在安全关键型应用中，研究者已对未对齐 RL 智能体造成的非预期危害或不安全行为表示担忧。安全强化学习（SafeRL）的理念在于使 RL 智能体与无害意图和安全行为模式相对齐。在 SafeRL 中，智能体通过接收环境反馈学习制定最优策略，同时满足将非预期危害或不安全行为的风险最小化的要求。然而，由于 SafeRL 算法实现的内在复杂性，跨不同领域的方法学结合构成了一项艰巨挑战。这导致当代 SafeRL 研究环境中缺乏一个连贯且高效的学习框架。在本工作中，我们引入一个旨在加速 SafeRL 研究的基础框架。我们的综合框架涵盖跨越不同 RL 领域的多种算法，并高度重视安全要素。我们致力于使 SafeRL 相关研究流程更为精简高效，从而促进 AI 安全领域的进一步研究。我们的项目发布于：https://github.com/PKU-Alignment/omnisafe。
引用
@article{arxiv.2305.09304,
title = {OmniSafe: An Infrastructure for Accelerating Safe Reinforcement Learning Research},
author = {Jiaming Ji and Jiayi Zhou and Borong Zhang and Juntao Dai and Xuehai Pan and Ruiyang Sun and Weidong Huang and Yiran Geng and Mickel Liu and Yaodong Yang},
journal= {arXiv preprint arXiv:2305.09304},
year = {2023}
}