面向文本到图像模型的基于矩与功率谱的高斯性正则化

我们提出了一种新颖的正则化损失，强制执行标准高斯性，鼓励样本与标准高斯分布对齐。这促进了涉及文本到图像模型潜空间优化的各种下游任务。我们将高维样本的元素视为一维标准高斯变量，并定义了一个复合损失，将空间域中基于矩的正则化与频域中基于功率谱的正则化相结合。由于矩和功率谱分布的期望值在解析上是已知的，该损失促进了对这些性质的符合。为确保排列不变性，损失被应用于随机排列的输入。值得注意的是，现有的基于高斯性的正则化属于我们统一框架的范畴：一些对应于特定阶数的矩损失，而先前的协方差匹配损失等价于我们的谱损失，但由于其空间域计算而产生了更高的时间复杂度。我们展示了我们的正则化在文本到图像模型的测试时奖励对齐生成建模中的应用，特别是用于增强美观度和文本对齐。我们的正则化优于先前的高斯性正则化，有效防止了奖励黑客行为并加速了收敛。