通过样本变分推断对少步生成模型进行对齐
机器学习
2026-05-28 v2 人工智能
摘要
对少步生成模型的对齐具有挑战性，因为现有的对齐框架通常依赖限制性假设：可计算的似然函数、特定的ODE/SDE求解器，或特定的模型族。我们引入FAV（Few-step Generative Models Alignment via Sample-based Variational Inference），一种基于样本变分推断的少步生成模型对齐框架，该框架仅需要对生成器和参考分布的样本访问。我们将对齐建模为从以参考分布为锚点的奖励倾斜分布中进行抽样。我们利用Stein变分梯度下降作为基于样本的变分推断方案，并通过固定点回归将其粒子更新 amortize 到生成器参数中。在两个领域上评估FAV：机器人操控和图像生成器对齐。在机器人操控的生成策略对齐任务中，FAV在56个离线任务和30个离线到在线RL任务中超越了现有的策略提取基线。在图像生成器对齐方面，FAV对包括GAN、漂移模型、一致模型和流模型在内的多样化少步 backbone进行微调，规模从ImageNet-到文本到图像合成。代码可在 https://github.com/Jaewoopudding/FAV 查看。
引用
@article{arxiv.2605.26552,
title = {Aligning Few-Step Generative Models by Amortizing Sample-based Variational Inference},
author = {Jaewoo Lee and Hyeongyu Kang and Dohyun Kim and Kyuil Sim and Woocheol Shin and Minsu Kim and Taeyoung Yun and Jeongjae Lee and Sanghyeok Choi and Tabitha Edith Lee and Jong Chul Ye and Jinkyoo Park},
journal= {arXiv preprint arXiv:2605.26552},
year = {2026}
}
备注
Under review