利用自监督视觉 Transformer 进行基于分割的传递函数设计

在体绘制中，传递函数用于对感兴趣结构进行分类，并赋予颜色与不透明度等光学属性。它们通常定义为将简单特征映射到这些光学属性的 1D 或 2D 函数。由于传递函数设计过程通常繁琐且不直观，已有若干方法被提出用于其交互式设定。本文中，我们提出一种利用自监督预训练视觉 Transformer 的特征提取能力来定义体绘制传递函数的新方法。为设计传递函数，用户只需在切片查看器中选择感兴趣结构，我们的方法便基于神经网络提取的高层特征自动选取相似结构。与以往基于学习的传递函数方法不同，我们的方法无需训练模型且支持快速推理，从而实现体数据的交互式探索。我们的方法通过交互式告知用户当前分类来减少所需标注量，使用户可专注于标注仍待标注的感兴趣结构。实践中，这让用户能在数秒内而非数分钟内完成传递函数设计。我们从标注与计算时间以及分割精度方面将方法与现有基于学习的方法进行比较。随附视频展示了我们方法的交互性与有效性。