行为基础模型对未见动力学的零样本适应
机器学习
2026-05-05 v2
摘要
行为基础模型 (BFM) 在零样本方式下成功地为任意任务产生策略，无需测试时训练或任务特定的微调。最具前景的 BFM 之一是那些从任务无关的离线数据中以无监督方式学习后继测量值的模型。然而，这些方法无法对动力学变化作出反应，在部分可观测性或转换函数变化时效率低下。这阻碍了 BFM 在实际场景中的应用，例如在机器人领域，动力学在测试时可能会意外变化。本文证明，前向-后向 (FB) 表示是 BFM 家族的方法，无法区分不同的动力学，导致潜在方向之间的干扰，这些方向参数化不同的策略。为此，我们提出了一个带有基于转换器的信念估计器的 FB 模型，极大地促进了零样本适应。我们还展示了将策略编码空间划分为动力学特定簇、与情境嵌入方向对齐，可在性能上获得额外的提升。这些特征使我们的方法能够响应训练期间观察到的动力学，并推广到未见的动力学。实验上，在变化的动力学设置下，我们的方法在离散和连续任务中实现了约 2 倍的零样本回报提升。
引用
@article{arxiv.2505.13150,
title = {Zero-Shot Adaptation of Behavioral Foundation Models to Unseen Dynamics},
author = {Maksim Bobrin and Ilya Zisman and Alexander Nikulin and Vladislav Kurenkov and Dmitry Dylov},
journal= {arXiv preprint arXiv:2505.13150},
year = {2026}
}