LLaMA-Reg：使用 LLaMA 2 进行无监督医学图像配准
计算机视觉与模式识别
2024-05-30 v1
摘要
医学图像配准是医学图像分析中的一个重要主题。本文提出了一种使用预训练大型语言模型进行医学图像配准的方法。我们发现，使用预训练的大型语言模型对医学图像进行深度特征编码可有效提高图像配准精度，表明大型语言模型在医学图像配准任务中具有巨大的潜力。我们使用双编码器对图像对进行深度特征提取，然后将特征输入到预训练的大型语言模型中。为适应我们的配准任务，冻结大型语言模型的权重，并使用一个适配器来微调大型语言模型，旨在 (a) 在大型语言模型计算之前将视觉标记映射到语言空间，(b) 将大型语言模型输出的建模语言标记投射到视觉空间。我们的方法将来自微调后大型语言模型的输出特征与来自每个编码器层的特征相结合，以逐步在解码器中生成用于配准的变形场。为展示大型预测模型在配准任务中的有效性，我们在膝部和脑部 MRI 上进行了实验，取得了最先进的结果。
引用
@article{arxiv.2405.18774,
title = {LLaMA-Reg: Using LLaMA 2 for Unsupervised Medical Image Registration},
author = {Mingrui Ma and Yu Yang},
journal= {arXiv preprint arXiv:2405.18774},
year = {2024}
}