MatSpectNet：具有域感知与物理约束高光谱重建的材料分割网络
计算机视觉与模式识别
2023-08-21 v4 图像与视频处理
摘要
由于材料外观的显著变化，对 3 通道 RGB 图像实现精确的材料分割具有挑战性。高光谱图像是在多个波长处采样的光谱测量集合，理论上为材料识别提供独特信息，因为表面反射的电磁辐射强度变化取决于场景的材料组成。然而，现有高光谱数据集在密集材料分割任务的图像数量和材料类别方面均很匮乏，且用光谱相机采集和标注高光谱图像成本高昂。为此，我们提出一种新模型 MatSpectNet，从 RGB 图像以恢复的高光谱图像分割材料。该网络利用现代相机中的色彩感知原理约束重建的高光谱图像，并采用域适应方法将高光谱重建能力从光谱恢复数据集推广到材料分割数据集。重建的高光谱图像进一步使用学习的响应曲线滤波并借助人类感知增强。MatSpectNet 的性能在 LMD 数据集及 OpenSurfaces 数据集上评估。我们的实验表明，与最近发表的工作相比，MatSpectNet 平均像素精度提升 1.60%，平均类别精度提升 3.42%。项目代码附于补充材料并将发布于 GitHub。
引用
@article{arxiv.2307.11466,
title = {MatSpectNet: Material Segmentation Network with Domain-Aware and Physically-Constrained Hyperspectral Reconstruction},
author = {Yuwen Heng and Yihong Wu and Jiawen Chen and Srinandan Dasmahapatra and Hansung Kim},
journal= {arXiv preprint arXiv:2307.11466},
year = {2023}
}
备注
7 pages main paper