SDAT:用于改进图像去马赛克处理的子数据集交替训练
图像与视频处理
2024-02-13 v2 计算机视觉与模式识别
摘要
图像去马赛克是数码相机图像处理流水线中的重要步骤。在以数据为中心的方法(如深度学习)中,用于训练的数据集分布会给网络输出带来偏置。例如,自然图像中多数图像块是平滑的,而高内容图像块稀少得多,这会导致去马赛克算法性能的偏置。多数深度学习方法通过特定损失或特殊网络架构应对此挑战。我们提出一种新方法SDAT(子数据集交替训练),从训练协议角度解决问题。SDAT包含两个关键阶段:初始阶段用某种方法从整个数据集创建子数据集,各子数据集引发不同偏置;随后阶段采用交替训练过程,除在整个数据集上训练外,还使用导出的子数据集。如我们所做的去马赛克任务各项实验所示,SDAT可无视所选架构而应用。实验涵盖一系列架构规模与类型,即CNN与transformers。我们在所有情况下均显示性能提升,并能在三个极流行的图像去马赛克基准上取得SOTA结果。
引用
@article{arxiv.2303.15792,
title = {SDAT: Sub-Dataset Alternation Training for Improved Image Demosaicing},
author = {Yuval Becker and Raz Z. Nossek and Tomer Peleg},
journal= {arXiv preprint arXiv:2303.15792},
year = {2024}
}