Rawformer：用于可学习相机ISP的无配对Raw-to-Raw翻译

现代智能手机摄像头质量很大程度上依赖于图像信号处理器（ISP）来增强捕获的原始图像，利用精心设计的模块生产最终输出图像，这些图像编码在标准色彩空间中（如sRGB）。基于神经网络的端到端可学习ISP为取代传统ISP提供了前景，因为它们能够在无需为每个新相机模型进行大量调校的情况下进行适应，这在传统ISP的每个模块中都很常见。然而，近期基于学习的ISP的关键挑战是由于相机特性对输入原始图像形成的影响，迫切需要为每个不同的相机模型收集大量配对数据集。本文通过引入一种用于跨不同相机进行无配对raw-to-raw翻译的新方法来解决这一挑战。具体而言，我们提出Rawformer，这是一种基于无监督Transformer的编码器-解码器方法，用于raw-to-raw翻译。它准确地将由特定相机捕获的原始图像映射到目标相机，从而促进可学习ISP对新未见相机的泛化。我们的方法在真实相机数据集上表现优异，相较于以往的最新技术实现了更高的准确率，同时保持了更稳健的原始图像与翻译后图像之间的相关性。代码和预训练模型均可在https://github.com/gosha20777/rawformer获取。