不确定性感知的 ControlNet：通过合成图像生成弥合域间差异
计算机视觉与模式识别
2025-10-14 v1 人工智能
摘要
生成模型是用于受控创建高质量图像数据的有价值工具。受控扩散模型如 ControlNet 已允许创建带标签的分布。当 discriminative 模型（如语义分割）进行训练时，这些合成数据集可用于增强原始训练分布。然而，这种增强效果受限于 ControlNet 倾向于复制原始训练分布的事实。本 work 引入了一种方法，通过在控制机制中引入不确定性概念来利用来自未标记域的数据训练 ControlNet。其中，不确定性指示给定图像不属于下游任务（例如分割）的训练分布。因此，最终网络中启动两种类型的控制：来自未标记数据集的不确定性控制和来自标记数据集的语义控制。 resulting ControlNet 允许我们创建具有高不确定性的标注数据，即从目标域（即未标记分布）的合成数据，带有标签。在我们的场景中，我们考虑视网膜 OCT 图像，通常可获得高质量的 Spectralis 图像并附带给定的分割 ground truth，使得能够训练分割网络。然而，最近在 Home-OCT 设备上的开发，导致视网膜 OCT 图像质量较低且存在显著的域迁移，使得无法直接应用即插即用分割网络。使用所提出方法从 Home-OCT 域合成带标签的图像可弥合这一差距，并显著提高分割结果，而无需额外监督。不确定性导向的优势在于与风格迁移相比，它能够实现任意域间迁移，而无需学习图像风格。这一点也在交通场景实验中得到了验证。
关键词
引用
@article{arxiv.2510.11346,
title = {Uncertainty-Aware ControlNet: Bridging Domain Gaps with Synthetic Image Generation},
author = {Joshua Niemeijer and Jan Ehrhardt and Heinz Handels and Hristina Uzunova},
journal= {arXiv preprint arXiv:2510.11346},
year = {2025}
}
备注
Accepted for presentation at ICCV Workshops 2025, "The 4th Workshop on What is Next in Multimodal Foundation Models?" (MMFM)