区块链辅助的多智能体深度强化学习示范克隆
机器学习
2025-01-22 v1 人工智能
摘要
多智能体深度强化学习(MDRL)是一种在合作或竞争环境中学习复杂行为的热门研究领域。然而，MDRL 伴随着若干挑战，阻碍其可用性，包括样本效率、维度灾赦和环境探索。最近提出的联邦强化学习(FRL)以解决这些问题，但 suffer from 模型限制和恶意性问题。另一些采用奖励塑造的方案需要大量工程，可能导致局部最优。本文提出一种 novel 的区块链辅助的多专家示范克隆(MEDC)框架，用于 MDRL。该方法利用专家示范引导新 MDRL 智能体的学习，通过在环境中建议探索动作。设计了基于区块链的模型共享框架，允许用户分享其训练好的模型，可被分配为请求用户的专家模型以辅助训练 MDRL 系统。采用联盟链(Consortium Blockchain)以实现可追溯和自主执行，无需单一可信实体。设计了智能合约来管理用户和模型分配，使用 IPFS 进行共享。该框架在多个应用中进行测试，并与现有方法在 FRL、奖励塑形和模仿学习辅助 RL 中进行基准测试。结果表明，该框架在学习速度和抗故障、抗恶意模型鲁棒性方面显著优于现有方法。
引用
@article{arxiv.2501.10938,
title = {Blockchain-assisted Demonstration Cloning for Multi-Agent Deep Reinforcement Learning},
author = {Ahmed Alagha and Jamal Bentahar and Hadi Otrok and Shakti Singh and Rabeb Mizouni},
journal= {arXiv preprint arXiv:2501.10938},
year = {2025}
}