意图条件化流占用模型
机器学习
2026-05-13 v4 人工智能
摘要
大规模预训练从根本上改变了当今机器学习研究的范式：大型基础模型被训练一次，然后可由社区中的任何人（包括那些没有数据或计算资源从头训练模型的人）用于适应和微调特定任务。将这一框架应用于强化学习（RL）具有吸引力，因为它为解决RL中的核心挑战（包括样本效率和鲁棒性）提供了有前景的途径。然而，在RL的背景下预训练大型模型仍存在一个基本挑战：动作具有长期依赖关系，因此训练一个能够跨时间推理的基础模型非常重要。生成式AI的最新进展为建模高度复杂的分布提供了新工具。在本文中，我们构建了一个概率模型，使用流匹配来预测智能体在时间上遥远的未来将访问哪些状态（即占用测度）。由于大型数据集通常由许多执行不同任务的独立用户构建，我们在我们的模型中包含了一个捕捉用户意图的潜变量。该意图增加了我们模型的表达力，并通过泛化策略改进实现适应。我们将提出的方法称为意图条件化流占用模型（InFOM）。与替代的预训练方法相比，我们在36个基于状态和4个基于图像的基准任务上的实验表明，所提出的方法在回报上实现了1.8倍的中位数提升，并将成功率提高了36%。网站：https://chongyi-zheng.github.io/infom 代码：https://github.com/chongyi-zheng/infom
引用
@article{arxiv.2506.08902,
title = {Intention-Conditioned Flow Occupancy Models},
author = {Chongyi Zheng and Seohong Park and Sergey Levine and Benjamin Eysenbach},
journal= {arXiv preprint arXiv:2506.08902},
year = {2026}
}
备注
ICLR 2026