MSFormer：一种用于牙齿实例分割的骨架-多视角融合方法
计算机视觉与模式识别
2023-10-24 v1 图形学
摘要
近年来，基于深度学习的牙齿分割方法受限于数据收集与标注的昂贵且耗时过程。在有限数据集下实现高精度分割至关重要。一种可行方案是对预训练的多视角模型进行微调，从而以有限数据提升性能。然而，仅依赖二维（2D）图像进行三维（3D）牙齿分割会因遮挡与形变产生次优结果，即不完整与扭曲的形状感知。为改进该基于微调的方案，本文主张 2D-3D 联合感知。在有限数据下采用 2D-3D 联合感知的根本挑战在于，3D 相关输入与模块须遵循轻量化策略，而非使用需大量训练数据的庞大 3D 数据与参数密集模块。遵循该轻量化策略，本文选取骨架作为 3D 输入，并提出 MSFormer，一种新颖的牙齿分割方法。MSFormer 将两种轻量模块嵌入现有多视角模型：一个 3D 骨架感知模块用于从骨架提取 3D 感知，一个骨架-图像对比学习模块通过融合多视角与骨架感知获得 2D-3D 联合感知。实验结果表明，MSFormer 与大型预训练多视角模型结合仅需 100 个训练网格即达到最优性能。此外，随着训练数据量增加，分割精度提升 2.4%–5.5%。
引用
@article{arxiv.2310.14489,
title = {MSFormer: A Skeleton-multiview Fusion Method For Tooth Instance Segmentation},
author = {Yuan Li and Huan Liu and Yubo Tao and Xiangyang He and Haifeng Li and Xiaohu Guo and Hai Lin},
journal= {arXiv preprint arXiv:2310.14489},
year = {2023}
}
备注
Under review