One Patch is All You Need：从稀疏视觉线索进行表面材料重建与分类

理解材料表面从稀疏视觉线索对于机器人、仿真和材料感知等应用至关重要。然而，大多数现有方法依赖于密集或完整场景观察，限制了其在受限或部分视角环境中的有效性。为此，我们引入了 SMARC（Surface MAterial Reconstruction and Classification from minimal visual input），即从最小视觉输入进行统一的表面材料重建与分类模型。仅通过给定单个 10% 连续贴图，SMARC 就能识别并重建完整的 RGB 表面，同时对材料类别进行分类。我们的架构将部分卷积 U-Net 与分类头结合，实现了在极端观察稀缺性下的空间插值和语义理解。我们将 SMARC 与包括卷积自编码器、Vision Transformer（ViT）、Masked Autoencoder（MAE）、Swin Transformer 和 DETR 进行比较，使用 Touch and Go 数据集进行实验。SMARC 在保持 17.55 dB PSNR 和 85.10% 材料分类准确率的同时，实现了最先进的成果。这一发现凸显了在缺失数据下的部分卷积在空间推理中的优势，并为最小化视觉表面理解奠定了坚实基础。