CRC-RL：一种用于无监督强化学习的新型视觉特征表示架构
计算机视觉与模式识别
2023-03-02 v2 人工智能
机器人学
摘要
本文解决视觉特征表示学习问题，旨在提升端到端强化学习（RL）模型的性能。具体地，提出一种新颖架构，其使用称为CRC损失的异构损失函数来学习改进的视觉特征，这些特征随后可用于RL中的策略学习。CRC损失函数由对比损失、重构损失与一致性损失三个独立损失函数组合而成。特征表示与策略学习并行学习，同时通过连体双编码器模型共享权重更新。该编码器模型增广了解码器网络与特征投影网络，以方便上述损失分量的计算。通过涉及潜特征可视化的实证分析，试图深入阐释该损失函数在学习新的动作依赖特征中的作用，以及它们如何与所解决问题复杂度相关联。所提架构称为CRC-RL，在具有挑战性的DeepMind控制套件环境上以显著优势超越现有SOTA方法，从而在该领域创立了新的基准。
引用
@article{arxiv.2301.13473,
title = {CRC-RL: A Novel Visual Feature Representation Architecture for Unsupervised Reinforcement Learning},
author = {Darshita Jain and Anima Majumder and Samrat Dutta and Swagat Kumar},
journal= {arXiv preprint arXiv:2301.13473},
year = {2023}
}