面向可调金属透镜摄影的降解模式化多路径扩散
计算机视觉与模式识别
2025-07-01 v1
摘要
金属透镜为超紧凑型计算成像提供了巨大的潜力，但面临复杂光学降解和计算恢复难题。现有方法通常依赖精确的光学标定或大量配对数据集，这在实际成像系统中并不容易实现。此外，缺乏对推理过程的控制往往导致不可取的幻觉性伪影。我们提出了一种面向可调金属透镜摄影的降解模式化多路径扩散方法，利用来自预训练模型的强大自然图像先验，取代大数据集。我们的框架使用正向、中性和负向提示路径，在高频细节生成、结构保真度和金属透镜特定降解抑制之间进行平衡，同时采用伪数据增强。可调解码器实现保真度与感知质量之间的可控权衡。此外，我们设计了空间变化的降解感知注意力（SVDA）模块，适应性地建模复杂的光学和传感器引起的降解。最后，我们设计并构建了一个毫米级 Meta 摄像头，用于实际验证。大量实验结果表明，我们的方法超越了当前最先进的方法，实现了高保真度和锐利的图像重建。更多材料：https://dmdiff.github.io/。
引用
@article{arxiv.2506.22753,
title = {Degradation-Modeled Multipath Diffusion for Tunable Metalens Photography},
author = {Jianing Zhang and Jiayi Zhu and Feiyu Ji and Xiaokang Yang and Xiaoyun Yuan},
journal= {arXiv preprint arXiv:2506.22753},
year = {2025}
}