通过时间抽象实现前向-后向表示中的谱对齐
机器学习
2026-05-08 v3 人工智能
机器人学
摘要
前向-后向（FB）表示通过强制低秩分解，为在连续空间中学习后继表示（SR）提供了强大框架。然而，连续环境的高秩转移动力学与FB架构的低秩瓶颈之间往往存在根本性的谱不匹配，使得准确的低秩表示学习变得困难。在本工作中，我们将时间抽象作为缓解这种不匹配的机制进行分析。通过刻画转移算子的谱性质，我们表明时间抽象类似于一个低通滤波器，抑制高频谱分量。这种抑制降低了诱导SR的有效秩，同时保持对结果价值函数误差的形式化界限。经验上，我们表明这种对齐是稳定FB学习的关键因素，特别是在高频因子的自举变得容易出错时。我们的结果将时间抽象确定为塑造底层MDP谱结构并实现连续控制中有效长时序表示的原则性机制。
引用
@article{arxiv.2603.20103,
title = {Spectral Alignment in Forward-Backward Representations via Temporal Abstraction},
author = {Seyed Mahdi B. Azad and Jasper Hoffmann and Iman Nematollahi and Hao Zhu and Abhinav Valada and Joschka Boedecker},
journal= {arXiv preprint arXiv:2603.20103},
year = {2026}
}