通过赫素德维度诱导提升分形生成模型的生成多样性

在保持高视觉质量的同时提升生成结果的多样性，是图像生成任务中的重要挑战。分形生成模型（FGMs）在生成高质量图像方面效率很高，但其内在的自相似性限制了输出图像的多样性。为解决此问题，我们提出一种基于赫素德维度（HD）的新方法，HD 是分形几何中广泛认可的用于量化结构复杂性的概念，有助于增强生成输出的多样性。为将 HD 融入 FGMs，我们提出一种可学习的 HD 估计方法，从图像嵌入中直接预测 HD，以解决计算成本问题。然而，仅将 HD 引入混合损失 insufficient to enhance diversity in FGMs due to: 1) degradation of image quality, and 2) limited improvement in generation diversity. 为此，在训练期间，我们采用基于 HD 的损失并搭配单调动力学驱动的调度策略，以逐步优化超参数，在不牺牲视觉质量的前提下获得最佳多样性。此外，在推理期间，我们采用 HD 指导的拒绝采样以选择更富有几何丰富性的输出。在 ImageNet 数据集上的大量实验表明，我们的 FGM-HD 框架在输出多样性方面相较于原始 FGMs 提升了 39%，同时保持了相当的图像质量。鉴于本文是首次将 HD 引入 FGMs，我们的方法有效增强了生成输出的多样性，同时为 FGM 开发提供了原则性的理论贡献。