基于文本提示的空间协变图像配准
图像与视频处理
2024-02-07 v2 人工智能
计算机视觉与模式识别
摘要
医学图像通常具有结构化的解剖表征和空间非均匀对比度。在神经网络中利用解剖先验，可极大提升其在资源受限临床环境中的效用。已有研究将此类信息用于图像分割，但在可变形图像配准方面的进展甚微。我们的工作提出 textSCF，一种集成空间协变滤波器与由视觉-语言模型编码的文本解剖提示的新方法，以填补这一空白。该方法优化一个将解剖区域的文本嵌入与滤波器权重相关联的隐式函数，从而放宽卷积运算典型的平移不变性约束。TextSCF 不仅提升计算效率，还能保持或提高配准精度。通过捕捉解剖区域间的上下文关联，它展现出出色的区域间可迁移性，并能在配准过程中保持结构不连续性。TextSCF 的性能已在受试者间脑 MRI 与腹部 CT 配准任务上经过严格测试，在 MICCAI Learn2Reg 2021 挑战赛中优于现有最先进模型并位居榜首。在腹部配准中，textSCF 的较大模型变体相较次优模型将 Dice 分数提高了 11.3%，而其较小变体在保持相近精度的同时，网络参数量减少 89.13%，计算操作量减少 98.34%。
引用
@article{arxiv.2311.15607,
title = {Spatially Covariant Image Registration with Text Prompts},
author = {Xiang Chen and Min Liu and Rongguang Wang and Renjiu Hu and Dongdong Liu and Gaolei Li and Hang Zhang},
journal= {arXiv preprint arXiv:2311.15607},
year = {2024}
}
备注
13 pages, 8 figures, 6 tables