TAP：用于恶劣天气去除的参数高效任务感知提示
计算机视觉与模式识别
2025-08-12 v1
摘要
恶劣天气条件下的图像恢复已被广泛探索，催生了众多高性能方法。特别是，一体化方法的最新进展通过在多任务图像恢复数据集上进行训练，展示了令人印象深刻的结果。然而，这些方法大多依赖专用网络模块或参数来处理每种特定的退化类型，导致显著的参数开销。此外，不同恢复任务之间的相关性常常被忽视。鉴于这些问题，我们提出了一种参数高效的一体化图像恢复框架，该框架利用任务感知增强提示来处理各种恶劣天气退化。具体来说，我们采用了一个包含预训练阶段和提示微调阶段的两阶段训练范式，以缓解任务间的参数冲突。我们首先使用监督学习来获取通用的恢复知识，然后通过可训练的软提示来调整模型以处理特定的退化。至关重要的是，我们以任务感知的方式增强了这些任务特定的提示。我们对这些提示应用低秩分解，以捕捉任务通用和任务特定的特性，并施加对比约束，使其更好地与实际的任务间相关性对齐。这些增强的提示不仅提高了恢复模型的参数效率，还实现了更精确的任务建模，这一点通过 t-SNE 分析得到了证实。在不同恢复任务上的实验结果表明，所提出的方法仅用 2.75M 参数就实现了卓越的性能。
引用
@article{arxiv.2508.07878,
title = {TAP: Parameter-efficient Task-Aware Prompting for Adverse Weather Removal},
author = {Hanting Wang and Shengpeng Ji and Shulei Wang and Hai Huang and Xiao Jin and Qifei Zhang and Tao Jin},
journal= {arXiv preprint arXiv:2508.07878},
year = {2025}
}