面向离线强化学习中精确能量引导扩散采样的对比能量预测
机器学习
2023-05-31 v2
摘要
引导采样是将扩散模型应用于真实世界任务的重要方法，其在采样过程中嵌入了人工定义的引导。本文考虑一种通用设定，其中引导由（未归一化的）能量函数定义。该设定的主要挑战在于，扩散采样过程中由采样分布与能量函数联合定义的中间引导未知且难以估计。为应对此挑战，我们提出了中间引导的精确公式，以及一种名为对比能量预测（CEP）的新训练目标以学习精确引导。我们的方法在无限模型容量和数据样本下保证收敛到精确引导，而以往方法无法做到。我们通过将该方法应用于离线强化学习（RL）来展示其有效性。在D4RL基准上的大量实验表明，我们的方法优于现有的最先进算法。我们还提供了一些将CEP应用于图像合成的示例，以展示CEP在高维数据上的可扩展性。
引用
@article{arxiv.2304.12824,
title = {Contrastive Energy Prediction for Exact Energy-Guided Diffusion Sampling in Offline Reinforcement Learning},
author = {Cheng Lu and Huayu Chen and Jianfei Chen and Hang Su and Chongxuan Li and Jun Zhu},
journal= {arXiv preprint arXiv:2304.12824},
year = {2023}
}
备注
Accepted at ICML 2023