SOE：面向3D MRI的SO(3)等变编码
计算机视觉与模式识别
2024-10-17 v1
摘要
表示学习日益重要，特别是当强大模型转向在微调下游任务前学习潜在表示时。这种方法在充分利用脑解剖结构信息方面尤为重要。然而，最近开发用于MRI的模型常常忽略或删除几何信息，如平移和旋转，从而对几何操作产生不变性。我们认为，将关于这些几何变换的知识纳入模型中，可以显著提升其学习脑结构中详细解剖信息的能力。因此，我们提出了一种用于编码3D MRI的方法，强制其对3D空间中所有旋转具有等变性，即SO(3)等变(SOE)。通过在表示空间中显式建模这种几何等变性，我们确保对输入图像空间所施加的任何旋转操作也反映在嵌入表示空间中。这种方法需要超越传统表示学习方法，因为我们需要一个允许在该空间中应用相同SO(3)操作的表示向量空间。为此，我们利用向量神经元的概念。我们方法形成的表示空间更有效地捕获了大脑的结构和解剖信息。我们在两个公开数据集上的结构MRI上对SOE进行预训练，针对下游任务进行评估，即从ADNI数据集的T1加权脑扫描中预测年龄和诊断阿尔茨海默病。我们展示了该方法不仅在其他方法上优于，且对各种旋转角度和轴向的旋转具有鲁棒性。代码已在https://github.com/shizhehe/SOE-representation-learning上提供。
引用
@article{arxiv.2410.12053,
title = {SOE: SO(3)-Equivariant 3D MRI Encoding},
author = {Shizhe He and Magdalini Paschali and Jiahong Ouyang and Adnan Masood and Akshay Chaudhari and Ehsan Adeli},
journal= {arXiv preprint arXiv:2410.12053},
year = {2024}
}