RRL：将 ResNet 作为强化学习的表征
机器人学
2021-11-15 v3
摘要
通过在没有仪器设备的环境中直接交互自主学习行为，可以催生能够在家庭等非结构化环境中提高生产力或提供护理的通才机器人。此类无仪器设备环境要求仅使用机器人的本体感受传感器（如机载摄像头、关节编码器等）进行操作，由于高维度和部分可观测性问题，这对策略学习具有挑战性。我们提出 RRL：将 ResNet 作为强化学习的表征（Resnet as representation for Reinforcement Learning）——一种简单而有效的方法，可直接从本体感受输入学习复杂行为。RRL 将从预训练 ResNet 提取的特征融合到标准强化学习流程中，并交付与直接从状态学习相当的结果。在一个模拟灵巧操作基准中，最先进的方法未能取得显著进展，而 RRL 交付了富含接触的行为。RRL 的吸引力在于其简洁性，将表征学习、模仿学习和强化学习领域的进展结合在一起。它在直接从视觉输入学习行为、在复杂高维领域中性能和采样效率与直接从状态学习相匹配的有效性，远非显而易见。
引用
@article{arxiv.2107.03380,
title = {RRL: Resnet as representation for Reinforcement Learning},
author = {Rutav Shah and Vikash Kumar},
journal= {arXiv preprint arXiv:2107.03380},
year = {2021}
}
备注
Published at ICML 2021