知识捕获、适应与组合（KCAC）：面向机器人操作中跨任务课程学习的框架
机器人学
2025-05-16 v1 人工智能
机器学习
摘要
强化学习（RL）在机器人操作中展现出巨大的潜力，但因样本效率低和缺乏可解释性，在现实场景中应用受限。使智能体能够更深入地理解并高效适应多样化的工作场景至关重要， strategically 利用知识是关键因素。本文提出知识捕获、适应与组合（KCAC）框架，通过跨任务课程学习系统性地将知识迁移集成到 RL 中。KCAC 在 CausalWorld 基准测试中的两个块堆叠任务中进行评估，为复杂的机器人操作环境。我们意识到，现有 RL 方法在此任务中难以有效解决，这反映了知识捕获的不足。本文通过去除刚性约束和严格的排序要求，重新设计基准奖励函数，使智能体能够同时最大化总奖励，从而实现灵活的任务完成。进一步地，我们定义两个自设计子任务，并实施结构化的跨任务课程以促进高效学习。结果表明，KCAC 方法在训练时间上减少约 40%，同时将任务成功率提高约 10%。通过广泛评估，我们识别出关键课程设计参数——子任务选择、转换时机和学习率——以优化学习效率，并为基于课程的 RL 框架提供概念性指导。本工作为 RL 和机器人学习中的课程设计提供了宝贵见解。
引用
@article{arxiv.2505.10522,
title = {Knowledge capture, adaptation and composition (KCAC): A framework for cross-task curriculum learning in robotic manipulation},
author = {Xinrui Wang and Yan Jin},
journal= {arXiv preprint arXiv:2505.10522},
year = {2025}
}