关于视觉-运动控制的预训练：重访从零学习基线
机器学习
2023-06-16 v2 计算机视觉与模式识别
机器人学
摘要
本文中，我们考察了预训练对于视觉-运动控制任务的有效性。我们重访了一个简单的从零学习（Learning-from-Scratch, LfS）基线，其结合了数据增强与浅层 ConvNet，并发现该基线在仿真与真实机器人上跨越多种算法、任务域与度量时，与近期利用在大规模视觉数据集上训练的冻结视觉表征的方法（PVR、MVP、R3M）竟具有相当的竞争力。我们的结果表明，这些方法受限于预训练数据集与当前视觉-运动控制基准之间的显著领域鸿沟，而微调可缓解此问题。基于我们的发现，我们对控制领域预训练的未来研究给出建议，并希望这一简单却强劲的基线能有助于准确基准评测该领域的进展。
引用
@article{arxiv.2212.05749,
title = {On Pre-Training for Visuo-Motor Control: Revisiting a Learning-from-Scratch Baseline},
author = {Nicklas Hansen and Zhecheng Yuan and Yanjie Ze and Tongzhou Mu and Aravind Rajeswaran and Hao Su and Huazhe Xu and Xiaolong Wang},
journal= {arXiv preprint arXiv:2212.05749},
year = {2023}
}
备注
Code: https://github.com/gemcollector/learning-from-scratch