面向强化学习策略迁移的小样本图像到语义翻译
机器学习
2023-02-01 v1 人工智能
计算机视觉与模式识别
摘要
我们研究利用图像到语义的翻译进行策略迁移，以缓解基于视觉的机器人控制智能体的学习困难。该问题假设存在两种环境：一种是具有语义（即低维且本质性的信息）作为状态空间的模拟器环境，另一种是以图像作为状态空间的真实世界环境。通过学习从图像到语义的映射，我们可以将在模拟器中预训练的策略迁移到真实世界，从而免去在真实世界中通过代价高昂且危险的在策略智能体交互来进行学习的过程。此外，与其他类型的模拟到真实迁移策略相比，使用图像到语义映射在训练策略的计算效率以及所得策略的可解释性方面具有优势。为解决学习图像到语义映射的主要困难，即用于生成训练数据集的人力标注成本，我们提出了两种技术：利用模拟器环境中的转移函数进行配对增强，以及主动学习。我们观察到标注成本降低而迁移性能未下降，且所提方法优于现有的无标注方法。
引用
@article{arxiv.2301.13343,
title = {Few-Shot Image-to-Semantics Translation for Policy Transfer in Reinforcement Learning},
author = {Rei Sato and Kazuto Fukuchi and Jun Sakuma and Youhei Akimoto},
journal= {arXiv preprint arXiv:2301.13343},
year = {2023}
}
备注
The 2022 International Joint Conference on Neural Networks (IJCNN2022)