符号化视觉强化学习:一种基于对象级抽象与可微表达式搜索的可扩展框架
机器学习
2023-01-02 v1 人工智能
摘要
学习高效且可解释的策略一直是强化学习(RL)中的一项挑战性任务,尤其在具有复杂场景的视觉 RL 设定中。尽管神经网络已取得有竞争力的性能,所得策略通常是过度参数化的黑箱,难以解释且难以高效部署。更近期的符号 RL 框架表明,可设计高层领域特定编程逻辑来处理策略学习与符号规划。然而,这些方法依赖编码原语而特征学习能力弱,当应用于高维视觉场景时,会面临可扩展性问题,并在图像具有复杂对象交互时表现不佳。为应对这些挑战,我们提出 \textit{可微符号表达式搜索}(DiffSES),一种利用部分可微优化发现离散符号策略的新型符号学习方法。通过使用对象级抽象替代原始像素级输入,DiffSES 能够利用符号表达式的简洁性与可扩展性优势,同时结合神经网络在特征学习与优化方面的长处。我们的实验表明,DiffSES 能够生成比最先进符号 RL 方法更简单、更具可扩展性的符号策略,且所需的符号先验知识更少。
引用
@article{arxiv.2212.14849,
title = {Symbolic Visual Reinforcement Learning: A Scalable Framework with Object-Level Abstraction and Differentiable Expression Search},
author = {Wenqing Zheng and S P Sharan and Zhiwen Fan and Kevin Wang and Yihan Xi and Zhangyang Wang},
journal= {arXiv preprint arXiv:2212.14849},
year = {2023}
}