Meta ControlNet：基于元学习增强任务适应性
计算机视觉与模式识别
2025-04-03 v2 机器学习
摘要
基于扩散的图像合成近期引起了广泛关注。特别是，使用基于图像提示的 ControlNet 在图像任务（如 Canny 边缘检测）中展现出强大的能力，并能生成与这些提示良好对齐的图像。然而，原始的 ControlNet 通常需要约 5000 步的大量训练才能实现对单个任务的理想控制。最近的上下文学习方法提高了其适应性，但主要针对基于边缘的任务，且依赖于成对样本。因此，要充分发挥 ControlNet 的潜力，还有两个重要的开放问题有待解决：某些任务的零样本控制，以及非边缘任务的快速适应。在本文中，我们引入了一种新颖的 Meta ControlNet 方法，该方法采用任务无关的元学习技术，并具有一种新的层冻结设计。Meta ControlNet 将获得控制能力的学习步骤从 5000 显著减少至 1000。此外，Meta ControlNet 在基于边缘的任务中无需任何微调即可展现出直接的零样本适应能力，并且在 Human Pose 等更复杂的非边缘任务中仅需 100 步微调即可实现控制，优于所有现有方法。代码可在 https://github.com/JunjieYang97/Meta-ControlNet 获取。
引用
@article{arxiv.2312.01255,
title = {Meta ControlNet: Enhancing Task Adaptation via Meta Learning},
author = {Junjie Yang and Jinze Zhao and Peihao Wang and Zhangyang Wang and Yingbin Liang},
journal= {arXiv preprint arXiv:2312.01255},
year = {2025}
}
备注
Codebase link: https://github.com/JunjieYang97/Meta-ControlNet