面向扩散模型的通用小样本空间控制
计算机视觉与模式识别
2026-01-15 v2
摘要
预训练文本到图像扩散模型中的空间条件控制显著改善了对生成图像结构的细粒度控制。然而，当遇到与训练任务显著不同的新颖空间控制条件时，现有的控制适配器表现出有限的适应性，并产生高昂的训练成本。为了解决这一局限性，我们提出了通用小样本控制（UFC），这是一种能够泛化到新颖空间条件的多功能小样本控制适配器。给定一个未见任务的少量图像-条件对和一个查询条件，UFC利用查询条件与支持条件之间的类比来构建任务特定的控制特征，并通过匹配机制和少量任务特定参数的更新来实现。在六个新颖空间控制任务上的实验表明，仅用30个新任务标注样本进行微调，UFC就能实现与空间条件一致的细粒度控制。值得注意的是，当仅用全量训练数据0.1%的样本进行微调时，UFC在各种控制任务中取得了与全监督基线相当的性能。我们还表明UFC可以无关地应用于各种扩散模型骨干网络，并在UNet和DiT架构上展示了其有效性。代码可在https://github.com/kietngt00/UFC获取。
引用
@article{arxiv.2509.07530,
title = {Universal Few-Shot Spatial Control for Diffusion Models},
author = {Kiet T. Nguyen and Chanhyuk Lee and Donggyun Kim and Dong Hoon Lee and Seunghoon Hong},
journal= {arXiv preprint arXiv:2509.07530},
year = {2026}
}