基于Swin Transformer和像素聚焦损失的事件相机去马赛克

最近的研究强调了事件相机引导的高质量成像的改进，其中大部分工作集中在RGB域。然而，这些进展常常忽略了事件相机传感器设计在RAW域中固有的缺陷所带来的独特挑战。具体来说，这种传感器设计导致像素值的部分丢失，给去马赛克等RAW域处理带来了新的挑战。由于RAW域中的大多数研究都基于每个像素包含一个值的前提，因此将这些方法直接应用于事件相机去马赛克变得困难。为此，我们提出了一种基于Swin Transformer的主干网络和一种像素聚焦损失函数，用于RAW域处理中缺失像素值的去马赛克。我们的核心动机是改进一个通用的、广泛适用的RGB域基础模型，使其适用于RAW域处理，从而扩展该模型在整个成像过程中的适用性。我们的方法利用多尺度处理和空间到深度技术来确保效率并降低计算复杂度。我们还提出了像素聚焦损失函数用于网络微调，以基于我们对训练损失中长尾分布的发现来改善网络收敛。我们的方法已在MIPI去马赛克挑战数据集上得到验证，随后的分析实验证实了其有效性。所有代码和训练模型均发布在此处：https://github.com/yunfanLu/ev-demosaic。