基于自回归模型的个性化文本到图像生成

个性化图像合成已成为文本到图像生成中的关键应用，使能够在多样化情境中创建包含特定主题的图像。尽管扩散模型在该领域占据主导地位，但自回归模型凭借其统一的文本与图像建模架构，仍在个性化图像生成方面受到较少探索。本文研究了针对个性化图像合成优化自回归模型的潜力，利用其内在的多模态能力完成此任务。我们提出了两种训练策略，结合文本嵌入优化和变换器层微调。我们的实验表明，在自回归模型上实现了本方法在主导扩散方法的主观保真度和提示遵循度方面的相当水平。结果凸显了自回归模型在个性化图像生成中的有效性，为该领域的未来研究提供了新的方向。