在黑暗中玩游戏:一种强化学习中的跨模态迁移方法
人工智能
2019-12-02 v1 机器学习
摘要
在这项工作中,我们探索利用从多种输入感官模态(如图像或声音)获得的潜在表示,使智能体能够学习并利用基于不同输入模态子集的策略。我们提出一种三阶段架构,允许在给定感官模态上训练的强化学习智能体在另一种感官模态上执行其任务——例如,在图像输入上学习视觉策略,然后仅在声音输入可用时执行该策略。我们表明,与不同基线相比,泛化策略实现了更好的开箱即用性能。此外,我们证明这在不同的OpenAI gym和视频游戏环境中均成立,即使使用不同的多模态生成模型和强化学习算法。
引用
@article{arxiv.1911.12851,
title = {Playing Games in the Dark: An approach for cross-modality transfer in reinforcement learning},
author = {Rui Silva and Miguel Vasco and Francisco S. Melo and Ana Paiva and Manuela Veloso},
journal= {arXiv preprint arXiv:1911.12851},
year = {2019}
}