LLM 与 VLM 集成强化学习的演化格局综述
机器学习
2025-02-24 v1 人工智能
计算与语言
摘要
强化学习（RL）在序列决策任务中展现出令人印象的成果。与此同时，大型语言模型（LLMs）和视觉语言模型（VLMs）兴起，展现出在多模态理解和推理方面的卓越能力。这些进展导致了将 LLMs 和 VLMs 集成到 RL 中的研究激增。本综述回顾了 LLMs 和 VLMs 用于克服 RL 关键挑战的代表性工作，包括缺乏先验知识、长期规划和奖励设计等问题。我们提出了一种分类法，将这些 LLM/VLM 辅助的 RL 方法归分为三种角色：代理、规划器和奖励。我们通过整合现有研究并确定未来方向，建立了将 LLMs 和 VLMs 集成到 RL 中、发展统一自然语言和视觉理解与序列决策的方法框架。
引用
@article{arxiv.2502.15214,
title = {The Evolving Landscape of LLM- and VLM-Integrated Reinforcement Learning},
author = {Sheila Schoepp and Masoud Jafaripour and Yingyue Cao and Tianpei Yang and Fatemeh Abdollahi and Shadan Golestan and Zahin Sufiyan and Osmar R. Zaiane and Matthew E. Taylor},
journal= {arXiv preprint arXiv:2502.15214},
year = {2025}
}
备注
9 pages, 4 figures