让关键且显著的要素凸显：基于注意力重建的视觉控制中的干扰消除
机器学习
2024-10-15 v1 人工智能
计算机视觉与模式识别
机器人学
摘要
模型基强化学习（MBRL）的最新进展使其成为视觉控制任务的强大工具。尽管数据效率有所提升，但训练具有可泛化感知能力的MBRL代理仍然具有挑战性。面对视觉干扰的训练尤其困难，因为它们引入了表示学习的高方差。基于流行的MBRL方法DREAMER，我们提出一种简单而有效的辅助任务，以促进干扰环境下的表示学习。在假设给定任务中，能够通过先验知识轻松识别任务相关组件的条件下，我们对图像观察使用分割掩码，以仅重构任务相关组件。如此一来，通过消除对潜在表示中编码任务无关对象的需求，我们大大降低了表示学习的复杂性。我们的方法，分割DREAMER（SD），可与可轻松获取的仿真ground-truth掩码一起使用，或通过利用可能不完美的分割基础模型实现。后者通过针对掩码预测错误避免提供误导性学习信号进行了进一步改进。在添加了视觉干扰的修改版DeepMind控制套件（DMC）和Meta-World任务中，SD在样本效率和最终性能方面均显著优于先前工作。我们发现，SD在稀疏奖励任务中尤为有用，这些任务通常无法被先前工作解决，从而无需 extensive 奖励工程即可训练出在视觉上具有鲁棒性的代理。
引用
@article{arxiv.2410.09972,
title = {Make the Pertinent Salient: Task-Relevant Reconstruction for Visual Control with Distractions},
author = {Kyungmin Kim and JB Lanier and Pierre Baldi and Charless Fowlkes and Roy Fox},
journal= {arXiv preprint arXiv:2410.09972},
year = {2024}
}