面向上下文强化学习的结构检测
机器学习
2026-03-31 v1
摘要
上下文强化学习处理解决一组相关上下文马尔可夫决策过程的问题，这些过程随不同的上下文变量而变化。传统方法——独立训练和多任务学习——要么面临过高的计算成本，要么面临负迁移。最近提出的一种多策略方法，即基于模型的迁移学习，通过策略性地选择少量任务进行训练和零样本迁移，展示了有效性。然而，上下文马尔可夫决策过程涵盖了广泛的问题，其结构特性因问题而异。因此，不同的任务选择策略适用于不同的上下文马尔可夫决策过程。在这项工作中，我们引入了结构检测MBTL，一个通用框架，可以动态识别上下文马尔可夫决策过程的底层泛化结构，并选择合适的MBTL算法。例如，我们观察到山形结构，其中泛化性能随着上下文差异的增加而从目标任务的训练性能下降。因此，我们提出了M/GP-MBTL，它检测结构并自适应地在基于高斯过程的方法和基于聚类的方法之间切换。在合成数据和上下文强化学习基准（涵盖连续控制、交通控制和农业管理）上的大量实验表明，M/GP-MBTL在聚合指标上比最强先验方法高出12.49%。这些结果凸显了在线结构检测在复杂上下文强化学习环境中指导源任务选择的潜力。
引用
@article{arxiv.2601.08120,
title = {Structure Detection for Contextual Reinforcement Learning},
author = {Tianyue Zhou and Jung-Hoon Cho and Cathy Wu},
journal= {arXiv preprint arXiv:2601.08120},
year = {2026}
}