可配置镜像梯度：决策制定的统一方法
人工智能
2024-05-21 v1 计算机科学与博弈论
机器学习
多智能体系统
摘要
决策问题广泛存在于实际场景中，包括单智能体问题（如Atari），合作多智能体问题（如Hanabi），竞争多智能体问题（如Hold'em扑克），以及混合合作与竞争问题（如足球）。尽管针对特定决策类别提出了各种方法，但这些方法通常彼此独立，难以推广至其他类别。因此，决策制定的核心问题是：\textbf{我们能否开发出一种单一算法来解决\textbf{所有}决策类别的问题？}本文针对该问题提出初步解决方案，主要贡献包括：i)提出广义镜像梯度(GMD)，是镜像梯度变体的推广，考虑多个历史策略并适用于更广泛的Bregman发散；ii)提出可配置镜像梯度(CMD)，引入元控制器以根据评估措施动态调整GMD中的超参数；iii)构建覆盖不同决策类别的\textsc{GameBench}基准测试，包含15个学术友好的游戏。大量实验表明，CMD在基线方法中实现了实证上具竞争力或更优的成绩，同时提供了探索决策多样维度的能力。
引用
@article{arxiv.2405.11746,
title = {Configurable Mirror Descent: Towards a Unification of Decision Making},
author = {Pengdeng Li and Shuxin Li and Chang Yang and Xinrun Wang and Shuyue Hu and Xiao Huang and Hau Chan and Bo An},
journal= {arXiv preprint arXiv:2405.11746},
year = {2024}
}
备注
Accepted to The Forty-first International Conference on Machine Learning (ICML 2024)