语言瓶颈下的策略学习
机器学习
2026-02-05 v3 人工智能
计算与语言
摘要
现代AI系统如自动驾驶汽车和游戏-playing代理实现了超人类的水平, 但往往缺乏人类类似的泛化能力、可解释性, 以及与人类用户的互操作性。鼓励受人类语言与决策之间丰富互动的启发, 我们引入策略学习与语言瓶颈框架(PLLB), 该框架使AI代理能够生成捕获奖励行为背后高层策略的语言规则。PLLB在语言模型指导下的*规则生成*步骤与代理学习新策略的*更新*步骤之间交替进行, 即使规则不足以描述整个复杂策略, 代理也能学习新策略。在包括两个玩家信号游戏、迷宫导航、图像重建和机器人抓取规划等五个多样化任务中, 我们展示PLLB代理不仅能够学习更具可解释性和可泛化性的行为, 还能将所学规则与人类用户共享, 从而实现更有效的人机协调。我们提供实验源码, 地址为https://github.com/meghabyte/bottleneck。
引用
@article{arxiv.2405.04118,
title = {Policy Learning with a Language Bottleneck},
author = {Megha Srivastava and Cedric Colas and Dorsa Sadigh and Jacob Andreas},
journal= {arXiv preprint arXiv:2405.04118},
year = {2026}
}
备注
Accepted to TMLR (2026)