GRAIL：面向神经符号强化学习的自主概念 grounding
人工智能
2026-04-21 v1 机器学习
摘要
神经符号强化学习(NeSy-RL)将符号推理与梯度优化结合，以实现可解释且可泛化的策略。诸如"左侧"或"靠近"等关系概念作为结构化智能体感知和行动方式的基础构建块。然而，传统方法需要人类专家手动定义这些概念，这限制了适应性，因为概念语义在不同环境中会变化。我们提出GRAIL(通过交互学习 grounding 关系智能体)，一个在环境交互中自主 grounding 关系概念的框架。GRAIL利用大型语言模型(LLM)提供通用概念表示作为弱监督，然后细化以捕获环境特定的语义。这一方法解决了稀疏奖励信号和概念错位在欠确定环境中的问题。在Kangaroo、Seaquest和Skiing等Atari游戏实验中显示，GRAIL在简化设置中匹配或超越具有手动构建概念的智能体，并在完整环境中揭示了奖励最大化与高层目标完成之间的信息性权衡。
引用
@article{arxiv.2604.16871,
title = {GRAIL: Autonomous Concept Grounding for Neuro-Symbolic Reinforcement Learning},
author = {Hikaru Shindo and Henri Rößler and Quentin Delfosse and Kristian Kersting},
journal= {arXiv preprint arXiv:2604.16871},
year = {2026}
}
备注
Preprint