神经匹配场:用于视觉对应匹配场的隐式表示

现有的语义对应流程通常包括提取高级语义特征,以实现对类内变化和背景杂波的不变性。然而,这种架构不可避免地导致低分辨率的匹配场,并额外需要特定的插值过程作为后处理,将其转换为高分辨率匹配场,这无疑限制了匹配结果的整体性能。为了克服这一问题,受隐式神经表示近期成功的启发,我们提出了一种用于语义对应的新方法,称为神经匹配场(NeMF)。然而,4D匹配场的复杂性和高维性是主要障碍,为此我们提出了一种代价嵌入网络来处理粗糙代价体,以此作为通过后续全连接网络建立高精度匹配场的指导。尽管如此,由于朴素的穷举推理需要从4D空间中的所有像素进行查询以推断逐像素对应关系,学习高维匹配场仍具挑战性,主要原因在于计算复杂度。为克服这一困难,我们提出了适当的训练和推理流程:在训练阶段,我们随机采样匹配候选;在推理阶段,我们在测试时迭代执行基于PatchMatch的推理和坐标优化。通过这些结合,我们在几个语义对应的标准基准上取得了具有竞争力的结果。代码和预训练权重可在 https://ku-cvlab.github.io/NeMF/ 获取。