用于语义对齐的动态上下文对应网络
计算机视觉与模式识别
2019-09-10 v1
摘要
建立语义对应是计算机视觉中的核心问题，并且由于较大的类内差异和缺乏标注数据而仍然具有挑战性。在本文中，我们旨在以灵活的方式引入全局语义上下文，以克服先前工作依赖局部语义表示的局限性。为此，我们首先提出一种结合空间布局的上下文感知语义表示，以针对局部歧义实现鲁棒匹配。然后，我们开发了一种基于注意力机制的新型动态融合策略，通过整合来自多尺度的语义线索，将局部与上下文特征的优势编织在一起。我们通过设计一个名为动态上下文对应网络（Dynamic Context Correspondence Network, DCCNet）的端到端可学习深度网络来实现我们的策略。为了训练该网络，我们采用多辅助任务损失来提高我们弱监督学习过程的效率。我们的方法在包括 PF-Pascal、PF-Willow 和 TSS 在内的多个具有挑战性的数据集上取得了优于或可与先前方法相媲美的性能，证明了其有效性和通用性。
引用
@article{arxiv.1909.03444,
title = {Dynamic Context Correspondence Network for Semantic Alignment},
author = {Shuaiyi Huang and Qiuyue Wang and Songyang Zhang and Shipeng Yan and Xuming He},
journal= {arXiv preprint arXiv:1909.03444},
year = {2019}
}
备注
ICCV 2019