用于大位移连拍图像重建的可微分两阶段对齐方案
计算机视觉与模式识别
2022-04-12 v1 图像与视频处理
摘要
去噪与去马赛克是从原始数据重建干净全彩图像的两个关键步骤。近来，针对连拍图像的联合去噪与去马赛克（JDD-B）因利用短时间内捕获的多张原始图像来重建单张高质量图像而备受关注。JDD-B 的一个关键挑战在于图像帧的鲁棒对齐。特征域中最先进的对齐方法无法有效利用连拍图像的时间信息，而由于相机与物体运动，连拍图像中普遍存在大位移。此外，现代成像设备更高的分辨率（如 4K）导致帧间位移更大。为应对这些挑战，我们设计了一种在块级与像素级顺序执行的可微分两阶段对齐方案，以实现有效的 JDD-B。输入的连拍图像首先通过可微分渐进块匹配方法在块级对齐，该方法能以较小计算成本估计远端帧间的偏移。随后我们在全分辨率特征域执行隐式逐像素对齐以细化对齐结果。两阶段以端到端方式联合训练。大量实验表明，我们的方法相较现有 JDD-B 方法取得显著改进。代码见 https://github.com/GuoShi28/2StageAlign。
引用
@article{arxiv.2203.09294,
title = {A Differentiable Two-stage Alignment Scheme for Burst Image Reconstruction with Large Shift},
author = {Shi Guo and Xi Yang and Jianqi Ma and Gaofeng Ren and Lei Zhang},
journal= {arXiv preprint arXiv:2203.09294},
year = {2022}
}