用于视觉生成的专家乘积
计算机视觉与模式识别
2025-10-10 v2 人工智能
摘要
现代神经网络模型捕捉了丰富的先验知识，并在共享数据域（如图像和视频）上具有互补知识。从多个来源整合多样化知识——包括视觉生成模型、视觉语言模型以及具有人工构建知识的来源如图形引擎和物理模拟器——仍未被充分探索。我们提出了一种专家乘积 (PoE) 框架，用于在推理时从异构模型中进行知识组合。这种无需训练的方法通过退火重要性采样 (AIS) 从专家之间的乘积分布中进行采样。我们的框架在图像和视频合成任务中展现出实际优势，相比整体方法具有更好的可控性，并额外提供了灵活的用于指定视觉生成目标的用户界面。
引用
@article{arxiv.2506.08894,
title = {Product of Experts for Visual Generation},
author = {Yunzhi Zhang and Carson Murtuza-Lanier and Zizhang Li and Yilun Du and Jiajun Wu},
journal= {arXiv preprint arXiv:2506.08894},
year = {2025}
}
备注
Project page: https://product-of-experts.github.io/