基于相关性加权的多奖励优化用于构成式生成
人工智能
2026-03-20 v1
摘要
文本到图像模型会产生与自然语言提示一致的图像，但构成式生成一直是核心挑战。模型常常难以满足单个提示中多个概念，经常遗漏某些概念，导致部分成功。这类失败凸显了在奖励优化中同时优化多个概念的困难，竞争性概念会相互干扰。为解决这一局限，我们提出基于相关性加权的多奖励优化 ()，该框架利用概念奖励之间的相关性结构来自适应地为优化中的每个属性概念分配权重。通过考虑概念之间的相互作用， 在平衡竞争奖励信号方面具有优势，并强调部分满足且在样本之间不一致生成的概念，从而提高构成式生成。具体而言，我们将多概念提示分解为预定义的概念组 (，对象、属性和关系)，并从针对每个概念的专用奖励模型获取奖励信号。我们随后对这些奖励进行自适应重新加权，为冲突或难以满足的概念分配更高的权重，使用基于相关性的难度估计。通过将优化聚焦于每个组中最具挑战性的概念， 鼓励模型在同时满足所有请求的属性方面保持一致。我们将我们的ethods 应用于训练最先进的扩散模型，SD3.5 和 FLUX.1-dev，证明在具有挑战性的多概念基准测试中（包括 ConceptMix、GenEval 2 和 T2I-CompBench）实现了一致的改进。
引用
@article{arxiv.2603.18528,
title = {Correlation-Weighted Multi-Reward Optimization for Compositional Generation},
author = {Jungmyung Wi and Hyunsoo Kim and Donghyun Kim},
journal= {arXiv preprint arXiv:2603.18528},
year = {2026}
}