UnReflectAnything:通过渲染合成镜面监督实现的 RGB 单目高光去除
计算机视觉与模式识别
2025-12-12 v2
摘要
镜面高光会扭曲外观、遮蔽纹理,并阻碍几何推理,在自然图像和手术图像中均如此。我们提出了 UnReflectAnything,一个仅使用 RGB 图像即可移除高光的框架,通过预测高光图以及反射自由的漫反射重建来实现高光去除。该模型使用冻结的视觉 Transformer 编码器提取多尺度特征,采用轻量级头部局化镜面区域,并使用基于标记的 inpainting 模块在生成最终漫反射图像之前修复被损坏的特征块。为克服缺乏配对监督的限制,我们引入了一个虚拟高光合成管道,该管道使用单目几何、菲涅尔感知着色和随机化 lighting 渲染物理上合理的镜面反射,从而实现在具有正确几何结构的任意 RGB 图像上进行训练。UnReflectAnything 跨越自然图像和手术领域,能够处理由非 lambertian 表面和非均匀 lighting 造成的严重高光问题,并在多个基准数据集上实现了与最先进技术的竞争性能。项目页面:https://alberto-rota.github.io/UnReflectAnything/
引用
@article{arxiv.2512.09583,
title = {UnReflectAnything: RGB-Only Highlight Removal by Rendering Synthetic Specular Supervision},
author = {Alberto Rota and Mert Kiray and Mert Asim Karaoglu and Patrick Ruhkamp and Elena De Momi and Nassir Navab and Benjamin Busam},
journal= {arXiv preprint arXiv:2512.09583},
year = {2025}
}