从RAW照片中去除反射
计算机视觉与模式识别
2025-04-08 v3
摘要
我们描述了一个用于从消费摄影图像中去除真实世界反射的系统。我们的系统处理线性（RAW）照片，并接受一个可选的、朝向相反方向的环境照片（例如，移动设备上的“自拍”相机）。这个可选照片消除了哪些内容应被视为反射的歧义。该系统仅使用真实RAW照片的合成混合物进行训练，我们使用光度学和几何学上精确的反射模拟来组合这些照片。我们的系统包括一个基础模型，该模型接受拍摄的照片和可选的环境照片作为输入，并在256p分辨率下运行，随后是一个上采样模型，将256p图像转换为全分辨率。该系统在MacBook或iPhone 14 Pro上以4.5-6.5秒生成1K预览图像。我们在现场拍摄的RAW照片上展示了最先进的结果，这些照片代表了典型的消费者照片，并表明在RAW模拟数据上训练比先前工作中的架构变化更能提高性能。
引用
@article{arxiv.2404.14414,
title = {Removing Reflections from RAW Photos},
author = {Eric Kee and Adam Pikielny and Kevin Blackburn-Matzen and Marc Levoy},
journal= {arXiv preprint arXiv:2404.14414},
year = {2025}
}
备注
8 pages plus 17 pages of supplemental material