保守目标模型是一类特殊的基于对比散度的能量模型
机器学习
2023-04-11 v1 人工智能
机器学习
摘要
在这项工作中，我们从理论上表明，用于离线基于模型优化（MBO）的保守目标模型（COMs）是一类特殊的基于对比散度的能量模型，其中能量函数同时表示输入的无条件概率和奖励变量的条件概率。虽然初始公式仅从其学习到的分布中采样模式，我们提出了一种简单的修正，将其梯度上升采样器替换为朗之万 MCMC 采样器。这产生了一种特殊的概率模型，其中采样到某输入的概率正比于其预测奖励。最后，我们表明若对模型解耦以使无条件概率和条件概率分别建模，可获得更好的样本。
引用
@article{arxiv.2304.03866,
title = {Conservative objective models are a special kind of contrastive divergence-based energy model},
author = {Christopher Beckham and Christopher Pal},
journal= {arXiv preprint arXiv:2304.03866},
year = {2023}
}