SpawnNet：从预训练网络学习可泛化的视觉运动技能
机器人学
2023-10-24 v2 计算机视觉与模式识别
摘要
现有的互联网规模图像与视频数据集涵盖了广泛的日常物体与任务，带来了在多样场景中泛化学习策略的潜力。先前工作已探索了采用不同自监督目标的视觉预训练。然而，从先前研究中，所学策略的泛化能力及其相对于充分调优基线的优势仍不明确。在本工作中，我们对预训练视觉表征在类别层面的泛化能力进行了聚焦研究。我们识别了使用冻结的预训练视觉骨干进行策略学习的关键瓶颈，进而提出 SpawnNet，一种新颖的双流架构，其学习将预训练的多层表征融合进一个独立网络以学习鲁棒策略。通过大量仿真与真实实验，我们展示了在模仿学习设定下相较于先前方法显著更好的类别泛化能力。开源代码与视频可在我们的网站获取：https://xingyu-lin.github.io/spawnnet。
引用
@article{arxiv.2307.03567,
title = {SpawnNet: Learning Generalizable Visuomotor Skills from Pre-trained Networks},
author = {Xingyu Lin and John So and Sashwat Mahalingam and Fangchen Liu and Pieter Abbeel},
journal= {arXiv preprint arXiv:2307.03567},
year = {2023}
}