面向测试时适应的高效扩散驱动损坏编辑器
计算机视觉与模式识别
2024-07-12 v3
摘要
测试时适应 (TTA) 解决测试期间出现的意外分布偏移问题。在 TTA 中，性能、内存消耗和时间消耗是关键考量。最近一种基于扩散模型的恢复受损图像 TTA 方法采用图像级别更新。然而，采用像素空间扩散显著增加资源需求，与传统模型更新 TTA 方法形成鲜明对比，暴露了其作为 TTA 方法的局限性。为此，我们提出一种新颖的 TTA 方法，利用基于潜空间扩散模型 (LDM) 的图像编辑模型，并通过全新的损坏建模方案进行微调。该方案通过创建 (干净图像, 受损图像) 图像对，微调模型以将受损图像编辑为干净图像，从而增强扩散模型对分布偏移的鲁棒性。此外，我们引入了一个蒸馏变体，以仅需4次网络函数评估 (NFEs) 加速模型进行损坏编辑。我们在各种架构和数据集上进行了广泛验证，包括图像和视频领域。我们的模型在运行速度上超过了基于扩散的基线快100倍。此外，相较于采用数据增强的前一模型更新 TTA 方法快3倍，使得图像级别的更新方法更加可行。
引用
@article{arxiv.2403.10911,
title = {Efficient Diffusion-Driven Corruption Editor for Test-Time Adaptation},
author = {Yeongtak Oh and Jonghyun Lee and Jooyoung Choi and Dahuin Jung and Uiwon Hwang and Sungroh Yoon},
journal= {arXiv preprint arXiv:2403.10911},
year = {2024}
}
备注
ECCV 2024 Camera Ready