网格去噪Transformer
计算机视觉与模式识别
2024-05-13 v1
摘要
网格去噪旨在去除输入网格中的噪声同时保留其特征结构，是一项实用但具有挑战性的任务。尽管近年来基于学习的网格去噪方法取得了显著进展，但其网络设计通常存在两个主要缺陷：依赖单模态几何表示，无法捕捉网格的多方面属性；以及缺乏有效的全局特征聚合，阻碍了其充分理解网格整体结构的能力。为解决这些问题，我们提出了SurfaceFormer，一个开创性的基于Transformer的网格去噪框架。我们的第一个贡献是开发了一种称为局部表面描述符的新表示，该表示通过在每个网格面上建立极坐标系，然后使用测地线从相邻表面采样点来构建。这些点的法线被组织成二维面片，模仿图像以捕获局部几何细节，而极点和顶点坐标则整合为点云以体现空间信息。这一进展克服了网格数据不规则和非欧几里得特性带来的障碍，有助于与Transformer架构的平滑集成。接下来，我们提出了一种双流结构，由几何编码器分支和空间编码器分支组成，它们联合编码局部几何细节和空间信息，以充分探索用于网格去噪的多模态信息。随后的去噪Transformer模块接收多模态信息，并通过自注意力算子实现高效的全局特征聚合。我们的实验评估表明，这种新颖的方法在客观和主观评估中均优于现有的最先进方法，标志着网格去噪领域的重大飞跃。
引用
@article{arxiv.2405.06536,
title = {Mesh Denoising Transformer},
author = {Wenbo Zhao and Xianming Liu and Deming Zhai and Junjun Jiang and Xiangyang Ji},
journal= {arXiv preprint arXiv:2405.06536},
year = {2024}
}