利用扩散先验与离策略RL求解贝叶斯逆问题
机器学习
2025-03-14 v1 人工智能
机器学习
摘要
本文展示了相对轨迹平衡(Relative Trajectory Balance, RTB)的一种实际应用，RTB是一种近期提出的离策略强化学习(RL)目标，能够渐近最优地求解贝叶斯逆问题。我们通过使用RTB从预训练的无条件先验中训练条件扩散模型后验，拓展了原始工作，将其应用于视觉和科学领域中的挑战性线性与非线性逆问题。我们将该目标与离策略回溯探索等技术结合使用以改善训练效果。重要的是，我们的结果表明，现有的无训练扩散后验方法由于固有偏差，在潜在空间中进行有效的后验推断方面存在困难。
引用
@article{arxiv.2503.09746,
title = {Solving Bayesian inverse problems with diffusion priors and off-policy RL},
author = {Luca Scimeca and Siddarth Venkatraman and Moksh Jain and Minsu Kim and Marcin Sendera and Mohsin Hasan and Luke Rowe and Sarthak Mittal and Pablo Lemos and Emmanuel Bengio and Alexandre Adam and Jarrid Rector-Brooks and Yashar Hezaveh and Laurence Perreault-Levasseur and Yoshua Bengio and Glen Berseth and Nikolay Malkin},
journal= {arXiv preprint arXiv:2503.09746},
year = {2025}
}
备注
Accepted as workshop paper at DeLTa workshop, ICLR 2025. arXiv admin note: substantial text overlap with arXiv:2405.20971