用于复杂3D环境中好奇探索的固定$\beta$-VAE编码
机器学习
2021-05-19 v1 计算机视觉与模式识别
摘要
好奇心是一种用内在奖励增强环境奖励的通用方法，其鼓励探索，在稀疏奖励设置中尤为有用。由于好奇心使用下一状态预测误差计算，所采用的状态编码类型对性能有很大影响。基于先前Atari及其他多为2D环境的结果，随机特征与逆动力学特征通常优于VAE。然而，与VAE不同，它们可能未编码足够信息以实现最优行为，而这在环境变得愈发复杂时愈发重要。在本文中，我们使用稀疏奖励3D物理环境Animal-AI，展示固定-VAE编码如何能与好奇心有效结合。我们将其与课程学习结合，解决了先前未解决的高探索强度绕路任务，同时在训练课程上相比次优编码取得了22%的样本效率提升。我们还在Atari Breakout上证实了结果，我们的自定义编码优于随机特征与逆动力学特征。
引用
@article{arxiv.2105.08568,
title = {Fixed $\beta$-VAE Encoding for Curious Exploration in Complex 3D Environments},
author = {Auguste Lehuger and Matthew Crosby},
journal= {arXiv preprint arXiv:2105.08568},
year = {2021}
}