RCA：面向视觉溯因推理的区域条件适配

视觉溯因推理旨在对视觉观察作出可能的解释。我们提出了一种简单而有效的区域条件适配（Region Conditioned Adaptation, RCA）方法，这是一种混合参数高效微调方法，使冻结的 CLIP 具备从局部视觉线索推断解释的能力。我们将“局部提示”和“全局上下文”分别在细粒度和粗粒度层面上编码为 CLIP 模型的视觉提示。适配器用于微调 CLIP 模型以适配下游任务，我们设计了一种新的注意力适配器，通过冻结 CLIP 模型可训练的查询和键投影直接引导注意力图的关注点。最后，我们使用改进的对比损失训练新模型，使视觉特征同时回归到字面描述和合理解释的特征。该损失使 CLIP 保持感知与推理能力。在 Sherlock 视觉溯因推理基准上的实验表明，RCA 显著优于以往的 SOTA，在排行榜上位居第一（例如，人类准确率：RCA 31.74 $\textit{vs}$ CPT-CLIP 29.58，越高越好）。我们还验证了 RCA 可泛化至 RefCOCO 等局部感知基准。我们在 https://github.com/LUNAProject22/RPA 开源了项目。