成熟GAIL：使用全局编码器与代价变换的低层级高维输入模仿学习
机器学习
2019-09-10 v1 机器学习
摘要
近年来，GAIL框架及其各种变体在解决实际MDP问题方面展现出显著潜力。然而，针对该框架中低层级、高维状态输入（如图像序列）的详细研究尚未开展。此外，传统GAIL框架中学到的代价函数仅位于负值区间，表现为一种非惩罚性奖励，使得智能体难以学到最优策略。本文提出一种基于GAIL框架的新算法，包含全局编码器和奖励惩罚机制。全局编码器解决了将GAIL框架应用于高维图像状态时出现的两个问题。同时，研究表明惩罚机制能为智能体提供更恰当的奖励，从而实现稳定的性能提升。我们的方法具有普适性，可应用于GAIL框架的各种变体，这进一步支撑了其潜力。我们通过将方法应用于GAIL框架的多种变体进行了深入实验。结果证明，在处理低层级和高维任务时，我们的方法显著提升了性能。
引用
@article{arxiv.1909.03200,
title = {Mature GAIL: Imitation Learning for Low-level and High-dimensional Input using Global Encoder and Cost Transformation},
author = {Wonsup Shin and Hyolim Kang and Sunghoon Hong},
journal= {arXiv preprint arXiv:1909.03200},
year = {2019}
}
备注
7 pages