语义轨迹块：一种用于视觉多智能体强化学习的以物体为中心的表征
人工智能
2021-08-10 v1
摘要
解决复杂的现实世界任务（例如自主车队控制）通常涉及一支通过强化学习从视觉输入学习策略的协调多智能体团队。然而，许多现有的多智能体强化学习（MARL）算法无法扩展到智能体在视觉输入上运行的环境。为解决此问题，在算法层面，近期工作聚焦于非平稳性与探索。相反，我们研究可扩展性是否也能通过解耦表征实现。为此，我们显式构造一种以物体为中心的中间表征来刻画环境状态，称之为“语义轨迹块（semantic tracklets）”。我们在视觉多智能体粒子环境（VMPE）和具有挑战性的视觉多智能体GFootball环境上评估了“语义轨迹块”。“语义轨迹块”在VMPE上持续优于基线，并在GFootball上取得比基线高+2.4的分数差。值得注意的是，该方法首个成功仅使用视觉数据在GFootball环境中为五名球员学习策略。
引用
@article{arxiv.2108.03319,
title = {Semantic Tracklets: An Object-Centric Representation for Visual Multi-Agent Reinforcement Learning},
author = {Iou-Jen Liu and Zhongzheng Ren and Raymond A. Yeh and Alexander G. Schwing},
journal= {arXiv preprint arXiv:2108.03319},
year = {2021}
}
备注
IROS 2021; Project page: https://ioujenliu.github.io/SemanticTracklets/