可检索技能的增量学习以实现高效持续任务适应
机器学习
2025-01-22 v2 人工智能
摘要
持续模仿学习（CiL）涉及从多个阶段和任务的演示中提取并积累任务知识，以实现多任务策略。随着基础模型的最新进展，基于适配器的CiL方法日益受到关注，其中适配器以参数高效的方式为新演示的任务建立。虽然这些方法为特定任务隔离参数，并倾向于减轻灾难性遗忘，但它们限制了不同演示之间的知识共享。我们引入了IsCiL，一个基于适配器的CiL框架，通过从不同演示中增量学习可共享的技能来解决知识共享的这一局限，从而在非平稳CiL环境中实现样本高效的任务适应。在IsCiL中，演示被映射到状态嵌入空间，在此空间中，可通过基于原型的记忆根据输入状态检索适当的技能。这些可检索的技能在其对应的适配器上进行增量学习。我们在Franka-Kitchen和Meta-World的复杂任务上进行的CiL实验表明，IsCiL在任务适应和样本效率方面均表现出鲁棒的性能。我们还展示了IsCiL在任务遗忘场景中的一个简单扩展。
引用
@article{arxiv.2410.22658,
title = {Incremental Learning of Retrievable Skills For Efficient Continual Task Adaptation},
author = {Daehee Lee and Minjong Yoo and Woo Kyung Kim and Wonje Choi and Honguk Woo},
journal= {arXiv preprint arXiv:2410.22658},
year = {2025}
}