GSL-PCD：通过基于点云特征的任务划分提升通才-专才学习
机器学习
2024-11-12 v1 机器人学
摘要
深度强化学习（DRL）在未见过的环境变化上的泛化通常需要在一系列多样化场景中进行训练。许多现有的DRL算法在处理大量变化时效率低下。通才-专才学习（GSL）框架通过首先在所有变化上训练一个通才模型，然后从通才的权重中创建专才模型，每个专才专注于一部分变化来解决此问题。通才随后在专才的辅助下细化其学习。然而，GSL中的随机任务划分可能因将差异极大的变化分配给同一专才而阻碍性能，往往导致每个专才只关注一种变化，从而增加计算成本。为改善此问题，我们提出了基于点云特征的任务划分的通才-专才学习（GSL-PCD）。我们的方法基于从物体点云中提取的特征对环境变化进行聚类，并使用基于贪心算法的平衡聚类将相似的变化分配给同一专才。在ManiSkill基准测试的机器人操控任务上的评估表明，基于点云特征的划分在固定专才数量下比普通划分性能提升9.4%，并将达到可比性能所需的计算和样本需求减少了50%。
引用
@article{arxiv.2411.06733,
title = {GSL-PCD: Improving Generalist-Specialist Learning with Point Cloud Feature-based Task Partitioning},
author = {Xiu Yuan},
journal= {arXiv preprint arXiv:2411.06733},
year = {2024}
}