充分利用合成数据：通过合成域对齐的扩散驱动测试时适应
计算机视觉与模式识别
2024-12-17 v2
摘要
测试时适应（TTA）旨在提高源域预训练模型在先前未见、偏移目标域上的性能。传统 TTA 方法主要根据目标数据流调整模型权重，使得模型性能对目标数据的数量和顺序高度敏感。最近提出的扩散驱动 TTA 方法通过调整模型输入而非权重来缓解这一问题，其中训练在源域上的无条件扩散模型将目标域数据转换为预期接近源域数据的合成域。然而，本文揭示了尽管合成数据在外观上难以与源数据区分，但对于深层网络而言，其与之未对齐，甚至存在显著差异。为此，我们提出一种合成-域对齐（SDA）框架。我们的关键洞察是通过使用合成数据微调源模型以实现更好的对齐。具体而言，我们首先使用条件扩散模型生成带标签的样本，创建合成数据集。随后，我们使用上述无条件扩散模型对每个样本添加噪声并进行去噪。这一扩散混合（MoD）过程缓解了条件扩散模型与无条件扩散模型之间潜在的域不对齐问题。广泛的实验在分类器、分割器和多模态大语言模型（MLLM，eg, LLaVA）上表明，SDA 在实现优异的域对齐方面表现出色，并且持续优于现有的扩散驱动 TTA 方法。我们的代码可在 https://github.com/SHI-Labs/Diffusion-Driven-Test-Time-Adaptation-via-Synthetic-Domain-Alignment 上获取。
引用
@article{arxiv.2406.04295,
title = {Everything to the Synthetic: Diffusion-driven Test-time Adaptation via Synthetic-Domain Alignment},
author = {Jiayi Guo and Junhao Zhao and Chaoqun Du and Yulin Wang and Chunjiang Ge and Zanlin Ni and Shiji Song and Humphrey Shi and Gao Huang},
journal= {arXiv preprint arXiv:2406.04295},
year = {2024}
}
备注
GitHub: https://github.com/SHI-Labs/Diffusion-Driven-Test-Time-Adaptation-via-Synthetic-Domain-Alignment