基于材料一致阴影边缘的阴影移除精炼
计算机视觉与模式识别
2024-09-12 v1
摘要
阴影边界可能被误认为是材料边界，因为两者都在场景中显示出明显的亮度或对比度变化。然而，阴影并不会修改表面的固有颜色或纹理。因此，在移除阴影后，沿着穿越相同材料区域的阴影边缘的两侧，原始颜色和纹理应该相同。这些阴影/阴影自由配对非常有用但难以收集。本文的关键贡献是学习如何识别穿越材料一致区域的阴影边缘，并如何在测试期间将其用作阴影移除精炼的自监督信号。为实现此目标，我们微调了SAM（一个图像分割基础模型），以产生一种不受阴影影响的分割，然后通过比较SAM分割与阴影掩码来提取材料一致的阴影边缘。利用这些阴影边缘，我们引入颜色和纹理一致性损失，以增强阴影移除过程。我们在更具挑战性的野外图像上Demonstrate了我们方法有效性，超过了最先进的阴影移除方法。此外，我们提出了一个新的指标和一个注释数据集用于评估无需配对阴影/阴影自由数据的情况下的阴影移除方法性能。
引用
@article{arxiv.2409.06848,
title = {Shadow Removal Refinement via Material-Consistent Shadow Edges},
author = {Shilin Hu and Hieu Le and ShahRukh Athar and Sagnik Das and Dimitris Samaras},
journal= {arXiv preprint arXiv:2409.06848},
year = {2024}
}