SAFNet：用于高效HDR成像的选择性对齐融合网络
计算机视觉与模式识别
2024-07-24 v1 图像与视频处理
摘要
在面对贫乏纹理和复杂运动时，多曝光高动态范围 (HDR) 成像是一个具有挑战性的任务。现有的深度学习方法通过遵循对齐与融合管道或利用注意力机制取得了很大成功，但大规模计算成本和推理延迟阻碍了其在资源受限设备上的部署。本文提出一种新型的选择性对齐融合网络 (SAFNet) 用于HDR成像。经过提取金字塔特征后，它联合细化有价值区域掩码和跨曝光运动，并在所选区域中共享解码器进行细化，然后以显式方式融合高质量HDR图像。这种方法可以在估计其易检测且有意义的运动的同时，将模型的注意力集中在寻找有价值区域。为了进一步细节增强，引入了一个轻量级精炼模块，受益于之前的光流、选择掩码和初始预测。此外，为促进学习大运动样本，本文在训练期间提出了一种新的窗口分区裁剪方法。在公共和新开发的具有挑战性的数据集上的实验表明，所提出的SAFNet不仅在定量和定性方面均优于以前的SOTA竞争者，而且运行速度快出数量级。代码和数据集已公开于https://github.com/ltkong218/SAFNet。
引用
@article{arxiv.2407.16308,
title = {SAFNet: Selective Alignment Fusion Network for Efficient HDR Imaging},
author = {Lingtong Kong and Bo Li and Yike Xiong and Hao Zhang and Hong Gu and Jinwei Chen},
journal= {arXiv preprint arXiv:2407.16308},
year = {2024}
}
备注
Accepted by ECCV 2024