从路径签名到序列建模：离线强化学习中的增量签名贡献方法
机器学习
2026-02-13 v1
摘要
路径签名将轨迹嵌入张量代数中，构为路径的通用、非参数表示；然而，在标准形式下，它们将时序结构压缩为单个全局对象，这限制了其在需要逐步响应性决策的问题中的适用性。我们提出了增量签名贡献（ISC）方法，将截断路径签名分解为张量代数空间中按时间顺序排列的元素序列，对应于最后路径增量所诱导的增量贡献。这种重构保留了签名的代数结构和表达力，同时使其内部时序演化显式，从而能够通过序列建模方法处理签名基表示。在与完整签名相比，ISC 本身对瞬时轨迹更新天然敏感，这对于敏感且需要稳定性的控制动力学至关重要。基于此表示，我们引入了 ISC-Transformer（ISCT），一种集成 ISC 于标准 Transformer 架构的离线强化学习模型，无需进一步修改架构。我们在 HalfCheetah、Walker2d、Hopper 和 Maze2d 上对 ISCT 进行评估，包括延迟奖励和降级数据集的情形。结果表明，ISC 方法为需要处理时序敏感控制任务的路径处理提供了一种理论上有据而且在实践中同样有效的替代方案。
引用
@article{arxiv.2602.11805,
title = {From Path Signatures to Sequential Modeling: Incremental Signature Contributions for Offline RL},
author = {Ziyi Zhao and Qingchuan Li and Yuxuan Xu},
journal= {arXiv preprint arXiv:2602.11805},
year = {2026}
}