无需经验：用于语义视觉导航的即插即用模块化迁移学习
计算机视觉与模式识别
2022-05-02 v2 人工智能
机器学习
摘要
在视觉导航的强化学习中，通常为每个新任务开发模型，并在 3D 环境中通过任务特定的交互从零开始训练该模型。然而，这一过程代价高昂；模型需要大量交互才能良好泛化。此外，每当任务类型或目标模态发生变化时，该过程便被重复。我们提出一种使用新颖模块化迁移学习模型的视觉导航统一方法。我们的模型能有效利用其在一个源任务上的经验，并应用于多个目标任务（例如 ObjectNav、RoomNav、ViewNav）及多种目标模态（例如图像、草图、音频、标签）。此外，我们的模型支持零样本经验学习，即无需任何任务特定的交互训练即可解决目标任务。我们在多个照片级真实数据集与具有挑战性的任务上的实验表明，我们的方法学习更快、泛化更好，并以显著优势优于 SoTA 模型。
引用
@article{arxiv.2202.02440,
title = {Zero Experience Required: Plug & Play Modular Transfer Learning for Semantic Visual Navigation},
author = {Ziad Al-Halah and Santhosh K. Ramakrishnan and Kristen Grauman},
journal= {arXiv preprint arXiv:2202.02440},
year = {2022}
}
备注
CVPR 2022. Project page: https://vision.cs.utexas.edu/projects/zsel/