Teamwork：具有低秩协调与适应的协作扩散
计算机视觉与模式识别
2025-10-08 v1 图形学
机器学习
摘要
大型预训练扩散模型可以为许多图形应用提供强大的先验。然而，生成应用如神经渲染和逆方法如 SVBRDF 估计和内在图像分解需要额外的输入或输出通道。目前的通道扩展解决方案通常是特定于应用的，并且这些解决方案难以适应不同的扩散模型或新任务。本文引入了 Teamwork：一种灵活高效的统一解决方案，用于联合增加输入和输出通道数量以及将预训练扩散模型适应新任务。Teamwork 通过协调和适应基础扩散模型的多个实例（即队友），在不改变预训练扩散模型架构的情况下实现通道扩展。我们采用低秩适应（LoRA）的变体来联合解决不同队友之间的适应和协调问题。此外，Teamwork 支持队友的动态（去）激活。我们在多种生成和逆图形任务上展示了 Teamwork 的灵活性和效率，如图像修复、单图像 SVBRDF 估计、内在分解、神经着色和内在图像合成。
引用
@article{arxiv.2510.05532,
title = {Teamwork: Collaborative Diffusion with Low-rank Coordination and Adaptation},
author = {Sam Sartor and Pieter Peers},
journal= {arXiv preprint arXiv:2510.05532},
year = {2025}
}