Register Anything：估计“对应的提示词”用于Segment Anything模型

建立像素/体素级别或区域级别的对应关系是图像注册的核心挑战。后者，也称为基于区域的对应表示，利用两组感兴趣区域（ROI）来实现区域匹配，同时保持像素/体素级别的精细能力。在传统方法中，这种表示通过两个步骤实现：首先在每张图像中分割ROI，然后在两图像之间进行匹配。本文通过直接“搜索对应的提示词”，使用广泛预训练的分割模型（如SAM）实现一步完成的训练自由注册方法——PromptReg。首先，我们提出了“对应的提示词问题”，旨在为给定图像X中的任意视觉提示X识别图像Y中的对应的提示Y，使得两者分别触发的分段条件一致，形成来自两图像的对应ROI。其次，我们提出了“逆提示”解决方案，用于生成主要提示以及可选的辅助提示，将提示X反向映射到图像Y的提示空间。最后，我们提出了一种新颖的注册算法，通过对反向映射后的提示X在提示空间和空间维度上进行边际化，识别多个成对的对应ROI。对5个注册应用进行了全面实验，包括3D前列腺MRI、3D腹部MRI、3D肺部CT、2D组织病理学以及作为非医疗示例的2D航空图像。基于包括Dice系数和目标注册误差在内的多项指标，所提出的注册方法超越了基于强度的迭代算法和基于学习的DDF预测网络，甚至与需要完全分割训练数据的弱监督方法表现相竞争。