基于离线多任务数据的层次化分离技能发现用于多智能体合作
机器学习
2025-03-31 v1 人工智能
多智能体系统
摘要
从离线多任务数据中学习能泛化至未见任务（包括可变智能体数目和目标数）的协作多智能体策略，是许多场景中吸引力问题。虽然将多个任务中普遍的行为模式聚合为技能以提高策略迁移是一条可行路径，但两个主要挑战阻碍了技能学习在离线多任务 MARL 中的进一步发展。首先，缺乏将协作时序知识纳入从各类动作序列中提取的通用协作行为作为共同技能。其次，现有工作仅涉及共同技能，无法在每个任务中自适应选择独立知识作为任务特定技能，以实现细粒度动作执行。为解决这些挑战，我们提出了层次化分离技能发现 (HiSSD)，一种通过技能学习实现通用离线多任务 MARL 的新方法。HiSSD 利用层次化框架联合学习共同技能和任务特定技能。共同技能学习协作时序知识，使其在离线多任务 MARL 中实现样本内利用。任务特定技能代表每个任务的先验知识，实现任务引导的细粒度动作执行。为验证我们方法的突破性，我们在多智能体 MuJoCo 和 SMAC 基准上进行了实验。实验结果表明，使用 HiSSD 在离线多任务数据上训练的策略在未见任务中分配有效的协作行为并取得优异性能。
引用
@article{arxiv.2503.21200,
title = {Learning Generalizable Skills from Offline Multi-Task Data for Multi-Agent Cooperation},
author = {Sicong Liu and Yang Shu and Chenjuan Guo and Bin Yang},
journal= {arXiv preprint arXiv:2503.21200},
year = {2025}
}