UnMix-NeRF：光谱混合融合神经光度场
图像与视频处理
2025-08-07 v2 人工智能
计算机视觉与模式识别
机器学习
信号处理
摘要
基于神经光度场（NeRF）的分割方法聚焦于对象语义，仅依赖RGB数据，缺乏材料属性。此限制阻碍了准确的材料感知，这对于机器人、增强现实、仿真等应用至关重要。我们提出UnMix-NeRF框架，将光谱混合集成到NeRF中，实现 hyperspectral 新视角合成和无监督材料分割。该方法通过漫反射和镜面反射分量建模光谱反射率，其中学习的全局端成员字典代表纯材料特征，局部点丰度捕捉其分布。对于材料分割，我们使用沿所学端成员的光谱特征预测，实现无监督材料聚类。此外，UnMix-NeRF支持通过修改所学端成员字典进行场景编辑，以实现基于材料的灵活外观操控。广泛的实验验证了我们方法的有效性，证明其在光谱重建和材料分割方面优于现有方法。项目页面：https://www.factral.co/UnMix-NeRF。
引用
@article{arxiv.2506.21884,
title = {UnMix-NeRF: Spectral Unmixing Meets Neural Radiance Fields},
author = {Fabian Perez and Sara Rojas and Carlos Hinojosa and Hoover Rueda-Chacón and Bernard Ghanem},
journal= {arXiv preprint arXiv:2506.21884},
year = {2025}
}
备注
Paper accepted at ICCV 2025 main conference