TAIL:用于大规模预训练模型模仿学习的任务特定适配器
机器学习
2024-03-11 v2 人工智能
机器人学
摘要
在机器人和控制等领域,大型预训练模型的全部潜力在很大程度上尚未被发掘。这主要归因于数据稀缺以及为这类应用训练或微调这些大模型所带来的计算挑战。先前的工作主要强调要么对大模型进行有效的决策预训练,要么进行单任务适配。但现实世界的问题将需要面向新控制任务的数据高效、持续适配。认识到这些限制,我们提出 TAIL(Task-specific Adapters for Imitation Learning,用于模仿学习的任务特定适配器),一种面向新控制任务高效适配的框架。受近期语言领域参数高效微调进展的启发,我们在 TAIL 中探索高效的微调技术——例如 Bottleneck Adapters、P-Tuning 和低秩适配(LoRA)——以利用有限的演示数据将大型预训练模型适配到新任务。我们在大规模语言条件操作任务中进行了广泛实验,比较了流行的参数高效微调技术与适配基线,结果表明使用 LoRA 的 TAIL 仅以全微调 1% 的可训练参数即可取得最佳的适配后性能,同时在持续学习设定中避免灾难性遗忘并保持适配可塑性。
引用
@article{arxiv.2310.05905,
title = {TAIL: Task-specific Adapters for Imitation Learning with Large Pretrained Models},
author = {Zuxin Liu and Jesse Zhang and Kavosh Asadi and Yao Liu and Ding Zhao and Shoham Sabach and Rasool Fakoor},
journal= {arXiv preprint arXiv:2310.05905},
year = {2024}
}
备注
Published on ICLR 2024