用于复用局部转移几何的矩阵空间强化学习
机器学习
2026-05-15 v1 人工智能
摘要
序列决策中的组合泛化要求识别先前 rollout 中哪些部分对新任务仍然有用。现有方法复用技能或预测模型，但往往忽略了丰富的局部转移几何与动态。我们提出矩阵空间强化学习（MSRL），这是一种几何抽象方法，通过聚合提升后单步转移的一阶与二阶统计量的半正定矩阵描述子来表示轨迹片段。这些描述子揭示了共享的隐藏结构，支持在抽象矩阵空间中进行代数组合，并展现了迁移的机会。我们证明该描述子在坐标规范变换下是良定义的，对诱导的低阶加性信号类是完备的，在有效片段组合下是加性的，并且在所有容许的加性描述子中是极小充分的。我们进一步表明，以轨迹片段矩阵为条件作用于价值函数可产生动作值的一阶光滑近似，使得源任务学习到的矩阵到值的映射能够引导新任务中的学习。MSRL 可作为插件与标准无模型和基于模型的方法兼容，同时障碍过滤机制可拒绝不合理的组合。在实验上，MSRL 取得了 0.73 的最佳平均有限预算目标 AUC，优于从零开始训练的 MSRL（0.65）、TD-MPC-PT+FT（0.63）和 TD-MPC（0.57）。
引用
@article{arxiv.2605.14304,
title = {Matrix-Space Reinforcement Learning for Reusing Local Transition Geometry},
author = {Zuyuan Zhang and Carlee Joe-Wong and Tian Lan},
journal= {arXiv preprint arXiv:2605.14304},
year = {2026}
}