多任务策略学习中视觉特征的任务条件适应
计算机视觉与模式识别
2024-05-07 v4 机器学习
机器人学
摘要
成功地解决多种任务是自主代理器的核心能力，要求灵活地适应底层决策策略，正如我们在本文中所论证的，也需要适应感知模块。类比论点是人类视觉系统，它会利用自上而下的信号根据当前任务聚焦注意力。类似地，我们在多任务策略学习的上下文中对预训练的大型视觉模型进行以任务为条件的适应。我们引入任务条件适配器，无需对任何预训练权重进行微调，搭配一个能够解决多个任务的单一策略。我们将视觉适配器基于任务嵌入进行条件化，这些嵌入可以在推理时根据已知任务选择，或者从一组示例演示中推断出来。为此，我们提出了一种新的基于优化的估计器。我们在 CortexBench 基准测试中的各种任务上进行评估，显示与现有工作相比，可以仅用单个策略来解决。特别是，我们展示了适应视觉特征是一个关键设计选择，该方法能够在给定少量演示的情况下对未见任务进行泛化。
引用
@article{arxiv.2402.07739,
title = {Task-conditioned adaptation of visual features in multi-task policy learning},
author = {Pierre Marza and Laetitia Matignon and Olivier Simonin and Christian Wolf},
journal= {arXiv preprint arXiv:2402.07739},
year = {2024}
}