让Segment Anything助力图像去雾
计算机视觉与模式识别
2023-06-29 v1
摘要
大语言模型与高层视觉模型借助大数据集与模型规模取得了令人印象深刻的性能提升。然而，底层计算机视觉任务，如图像去雾与去模糊，仍依赖少量数据集与小尺寸模型，这通常导致过拟合与局部最优。因此，我们提出一种将大模型先验整合进底层计算机视觉任务的框架。正如图像分割任务一样，雾的退化也与纹理相关。所以我们提出检测灰度编码、网络通道扩展与预去雾结构，以将大模型先验知识整合进任意底层去雾网络。我们通过不同数据集与算法对比实验展示了大模型在引导底层视觉任务中的有效性与适用性。最后，我们通过消融实验展示了灰度编码、网络通道扩展与循环网络结构的效果。在无需额外数据与训练资源的条件下，我们成功证明大模型先验知识的整合将提升去雾性能并节省底层视觉任务的训练时间。
引用
@article{arxiv.2306.15870,
title = {Let Segment Anything Help Image Dehaze},
author = {Zheyan Jin and Shiqi Chen and Yueting Chen and Zhihai Xu and Huajun Feng},
journal= {arXiv preprint arXiv:2306.15870},
year = {2023}
}