在置换晶格中学习任务特定的广义卷积

密集预测任务通常采用编码器-解码器架构，但解码器中流行的卷积并非图像自适应，并可能导致边界伪影。已有不同的广义卷积操作被引入以抵消此问题。我们超越这些工作，利用引导数据重新定义其固有的邻近性概念。我们提出的网络层构建于置换晶格之上，该晶格在高维空间中执行稀疏卷积，使得尽管滤波器较小却能进行强大的非局部操作。具有不同特征的多个特征跨越此置换空间。与先前工作相反，我们以任务特定的方式学习这些特征，将基本置换操作推广到学习的特征表示。由于所得目标复杂，我们引入了精心设计的框架与学习过程，在实践中产生丰富的特征嵌入。我们展示了我们的方法在不同联合上采样任务中的普遍适用性。当将我们的网络层加入用于光流与语义分割的最优网络时，边界伪影被消除且精度得到提升。