HYPNOS：面向非动画对象的高精度前景聚焦扩散微调

近年来，基于扩散模型的文本到图像生成任务一直是计算机视觉领域的热门话题。一个健壮的扩散模型由其能够在给定少量相关输入样本的情况下对特定产品结果进行近乎完美的重建能力所决定。不幸的是，当前最突出的扩散模型微调技术在保持前景物体一致性方面不足，而受限于在图像结果中产生多样化背景。在最坏的情况下，可能出现过拟合问题，导致前景物体可控性下降，例如，输入提示信息被模糊地传递到前景和背景区域，而不是应放在背景区域。为解决上述问题，我们提出了Hypnos，一种高精度前景聚焦扩散微调技术。在图像层面，此策略最适用于非动画对象生成任务，为此，Hypnos实现了两种主要方法：(i)一种内容中心导向的提示策略，以及(ii)利用我们额外的前景聚焦判别模块。所用的模块与扩散模型相连，并借助我们提出的监督机制进行微调。将上述策略组合得出了扩散模型的前景-背景解耦能力。我们的实验结果表明，所提出的策略比以前的技术表现出更健壮的性能和更具视觉吸引力的效果。为了更好地阐述，我们还提供了大量研究来评估上述成果，揭示了个人化在几种训练条件下的行为方式。