SIM-Net：一种基于从RGB图像推断3D物体形状点云的多模态融合网络，用于2D分类
计算机视觉与模式识别
2025-06-24 v1 人工智能
摘要
我们介绍了形状-图像多模态网络（SIM-Net），这是一种新的2D图像分类架构，将直接从RGB图像推断的3D点云表示集成其中。我们的关键贡献在于一种像素到点的转换，将2D物体掩模转换为3D点云，从而实现纹理特征和几何特征的融合，以提升分类性能。SIM-Net特别适合用于数字化植物标本（因背景异质性而具有挑战性）、非植物元素以及会损害常规图像模型的遮挡问题。为解决这些问题，SIM-Net采用基于分割的预处理步骤，在3D点云生成前提取物体掩模。该架构包含用于2D图像特征的CNN编码器和用于几何特征的PointNet编码器，这些特征被融合到统一的潜在空间中。在植物标本数据集上的实验评估表明，SIM-Net consistently超过ResNet101，在准确率上提升最高可达9.9%，F值提升最高可达12.3%。它还超过了多个基于变换器的领先架构，凸显了将3D结构推理纳入2D图像分类任务中的优势。
引用
@article{arxiv.2506.18683,
title = {SIM-Net: A Multimodal Fusion Network Using Inferred 3D Object Shape Point Clouds from RGB Images for 2D Classification},
author = {Youcef Sklab and Hanane Ariouat and Eric Chenin and Edi Prifti and Jean-Daniel Zucker},
journal= {arXiv preprint arXiv:2506.18683},
year = {2025}
}
备注
25 pages, 9 figures, 14 tables