通过无限像素学习实现超高清动态多曝光图像融合
计算机视觉与模式识别
2024-12-17 v1
摘要
随着设备成像分辨率的不断提高，超高清（UHD）图像越来越普及。不幸的是，现有的动态场景多曝光图像融合方法是为低分辨率图像设计的，这使得它们在资源受限设备上生成高质量UHD图像时效率低下。为了缓解极长序列输入的限制，受大语言模型（LLM）处理无限长文本的启发，我们提出了一种新的学习范式，在单个消费级GPU上实现UHD多曝光动态场景图像融合，称为无限像素学习（IPL）。我们方法的设计来自三个关键组件：第一步是对输入序列进行切片，以减轻模型处理数据流产生的压力；其次，我们开发了一种注意力缓存技术，类似于用于无限数据流处理的KV缓存；最后，我们设计了一种注意力缓存压缩方法，以减轻缓存对设备的存储负担。此外，我们提供了一个新的UHD基准来评估我们方法的有效性。大量实验结果表明，我们的方法在单个消费级GPU上实时（>40fps）融合UHD动态多曝光图像的同时，保持了高质量的视觉性能。
引用
@article{arxiv.2412.11685,
title = {Ultra-High-Definition Dynamic Multi-Exposure Image Fusion via Infinite Pixel Learning},
author = {Xingchi Chen and Zhuoran Zheng and Xuerui Li and Yuying Chen and Shu Wang and Wenqi Ren},
journal= {arXiv preprint arXiv:2412.11685},
year = {2024}
}