跨师徒学习框架：性质与求解方法
最优化与控制
2022-09-07 v1 机器学习
系统与控制
系统与控制
摘要
师徒学习（apprenticeship learning）是一种框架，其中智能体利用专家提供的示例轨迹，学习在环境中执行给定任务的策略。在现实世界中，人们可能在不同环境中获得专家轨迹，这些环境的系统动态不同但学习任务相同。对于此类场景，可定义两类学习目标：其一为所学策略在某一特定环境中表现良好，其二为其在所有环境中均表现良好。为了以原则性方式平衡这两类目标，我们的工作提出了跨师徒学习（CAL）框架。该框架由一个优化问题构成，其中为每个环境寻求最优策略，同时确保所有策略彼此接近。这种接近性由优化问题中的一个调谐参数促成。我们推导了调谐参数变化时该问题最优解的性质。由于问题非凸，我们给出了一个凸外近似。最后，我们在多风网格世界环境中的导航任务背景下展示了我们框架的特性。
引用
@article{arxiv.2209.02424,
title = {Cross apprenticeship learning framework: Properties and solution approaches},
author = {Ashwin Aravind and Debasish Chatterjee and Ashish Cherukuri},
journal= {arXiv preprint arXiv:2209.02424},
year = {2022}
}
备注
10 pages