面向三维医学图像表征的自回归序列建模

三维（3D）医学图像，如计算机断层扫描（CT）和磁共振成像（MRI），对于临床应用至关重要。然而，考虑到不同器官、诊断任务和成像模态之间的差异性，对多样化且全面的表征的需求尤为突出。如何有效解释复杂的上下文信息并从这些图像中提取有意义的见解，仍然是该领域的一个开放挑战。虽然当前的自监督学习方法已显示出潜力，但它们通常将图像视为一个整体，从而忽略了来自单个或多个图像的局部区域之间广泛而复杂的关系。在这项工作中，我们引入了一种通过自回归预训练框架学习三维医学图像表征的开创性方法。我们的方法基于空间、对比度和语义相关性对各种三维医学图像进行序列化，将它们视为标记序列中的相互连接的视觉标记。通过采用自回归序列建模任务，我们预测序列中的下一个视觉标记，这使得我们的模型能够深入理解并整合三维医学图像中固有的上下文信息。此外，我们实施了一种随机启动策略，以避免高估标记关系并增强学习的鲁棒性。我们的方法在公共数据集的九个下游任务上均表现出优于其他方法的性能，证明了其有效性。