通过课程掩码学习多才技能
机器学习
2024-11-05 v2 人工智能
摘要
掩码预测因其灵活的掩码方案，已成为离线强化学习（RL）中一种有前景的预训练范式，能够通过统一模型在各种下游任务中进行灵活推理。尽管掩码预测具有多才性，但如何平衡不同复杂度技能的学习仍不清楚。为了解决这个问题，我们提出了 CurrMask，一种用于序列决策的课程掩码预训练范式。受人类通过组织知识进行学习的课程方式的启发，CurrMask 在预训练期间调整其掩码方案以学习多才技能。通过大量实验，我们表明 CurrMask 在技能提示任务、目标条件规划任务上展现出卓越的零样本性能，并在离线 RL 任务上具有竞争力的微调性能。此外，我们对训练动态的分析表明，CurrMask 通过动态调整其掩码方案，逐步获取了不同复杂度的技能。
引用
@article{arxiv.2410.17744,
title = {Learning Versatile Skills with Curriculum Masking},
author = {Yao Tang and Zhihui Xie and Zichuan Lin and Deheng Ye and Shuai Li},
journal= {arXiv preprint arXiv:2410.17744},
year = {2024}
}
备注
NeurIPS 2024 poster, 21 pages, 8 figures