强化学习中迁移的基础：知识模态的分类体系
机器学习
2023-12-05 v1 人工智能
机器人学
机器学习
摘要
当代人工智能系统展现出快速增长的性能，但同时也伴随着所需资源、海量数据集以及计算基础设施相应投资的增长。尽管早期的成功主要集中于受约束的环境，但近期基础研究与应用的进展正致力于创造日益通用的系统。这一不断演进的态势在优化知识的泛化与迁移方面——即从现有来源中提取知识并将其作为解决新问题的综合基础进行适应——呈现出机遇与挑战并存的局面。在强化学习 (RL) 领域，知识的表示通过各种模态体现，包括动力学与奖励模型、价值函数、策略以及原始数据。本分类体系系统地针对这些模态，并根据其固有属性以及与不同迁移目标和机制的对齐情况来构建讨论框架。在可能的情况下，我们旨在提供粗略的指导，以界定满足诸如限制环境交互、最大化计算效率以及增强跨不同变化维度的泛化能力等要求的方法。最后，我们分析了导致特定迁移形式普遍或稀缺的原因、推动这些前沿的内在潜力，并强调了从设计式迁移向学习式迁移转变的重要性。
引用
@article{arxiv.2312.01939,
title = {Foundations for Transfer in Reinforcement Learning: A Taxonomy of Knowledge Modalities},
author = {Markus Wulfmeier and Arunkumar Byravan and Sarah Bechtle and Karol Hausman and Nicolas Heess},
journal= {arXiv preprint arXiv:2312.01939},
year = {2023}
}