AVA：掌握 StarCraft II 的注意力 VLM 智能体
人工智能
2026-05-12 v7 多智能体系统
摘要
我们引入了 AVACraft，这是一个多模态 StarCraft II 基准测试，同时支持多智能体强化学习（MARL）和视觉语言模型（VLM）范式。与依赖抽象状态表示且排除 VLM 的 SMAC 系列环境不同，AVACraft 提供 RGB 视觉图像、自然语言观测和结构化状态信息，从而能够在涵盖微操、协调和战略规划的 21 个场景中对基于训练的方法和零样本方法进行系统比较。我们建立了全面的基线：六个具有 Swin-Transformer 骨干网络并训练 5M 步的 MARL 算法（IQL、QMIX、QTRAN、VDN、MAPPO、IPPO），以及多个 VLM，包括专有（GPT-4o）和开源（Qwen3-VL）模型。结果揭示了互补的优势——MARL 在 5M 步后达到 19.3% 的最高胜率，而 VLM 通过与人类对齐的决策实现了 75-90% 的零样本胜率——暴露了训练效率、性能上限、可解释性和部署成本之间的权衡。代码：https://github.com/camel-ai/VLM-Play-StarCraft2。
引用
@article{arxiv.2503.05383,
title = {AVA: Attentive VLM Agent for Mastering StarCraft II},
author = {Weiyu Ma and Yuqian Fu and Zecheng Zhang and Bernard Ghanem and Guohao Li},
journal= {arXiv preprint arXiv:2503.05383},
year = {2026}
}
备注
Accepted by ACL 2026