从动作到语言：基于强化学习的抽象文本政策概述
机器学习
2026-01-09 v3
摘要
解释强化学习代理具有挑战性，因为策略是从复杂的奖励结构和神经表示中涌现出来的，这些结构对人类而言难以解释。现有方法通常依赖精心策划的演示，这些演示暴露了局部行为，但为理解代理的全局策略提供了有限的见解，使用户不得不从原始观察中推断意图。我们提出SySLLM（Synthesized Summary using Large Language Models），即一个将策略解释重新框定为语言生成问题的框架。与其提供视觉演示，不如将时空轨迹转换为结构化文本，并提示 LLM 生成描述代理目标、探索风格和决策模式的连贯摘要。SySLLM能够扩展到没有任务特定微调的长期视角、语义丰富的环境中，利用 LLM 的世界知识和组合推理能力，跨策略捕获潜在行为结构。专家评估显示，其与人类分析高度一致；大规模用户研究发现，75.5% 的用户偏好 SySLLM 的摘要而非最先进的演示-based 解释。这些结果将抽象文本概述定位为解释复杂强化学习行为的范式。
引用
@article{arxiv.2503.10509,
title = {From Actions to Words: Towards Abstractive-Textual Policy Summarization in RL},
author = {Sahar Admoni and Assaf Hallak and Yftah Ziser and Omer Ben-Porat and Ofra Amir},
journal= {arXiv preprint arXiv:2503.10509},
year = {2026}
}
备注
In Proceedings of AAMAS 2026 (The 25th International Conference on Autonomous Agents and Multi-Agent Systems)