ECT：基于习得成因令牌的细粒度边缘检测
计算机视觉与模式识别
2023-08-08 v1
摘要
在本研究中，我们解决具有挑战性的细粒度边缘检测任务，即分别预测由反射率、光照、法向和深度变化所引起的特定边缘。先前方法利用多尺度卷积网络，在三个方面存在局限：(1) 卷积是局部算子，而识别边缘形成原因需观察远处像素。(2) 针对边缘成因的先验在预测头中固定。(3) 使用独立网络进行通用与细粒度边缘检测，二者间约束可能被破坏。为解决这三个问题，我们提出一种基于 transformer 的两阶段网络，依次预测通用边缘与细粒度边缘，得益于注意力机制具有全局感受野。边缘成因的先验知识在成因感知解码器设计中表述为四个可学习的成因令牌(cause tokens)。此外，为鼓励通用边缘与细粒度边缘间的一致性，采用了边缘聚合与对齐损失。我们在公开基准 BSDS-RIND 及若干新推导的基准上评估了方法，取得了新的 SOTA 结果。我们的代码、数据与模型公开于 https://github.com/Daniellli/ECT.git。
引用
@article{arxiv.2308.03092,
title = {ECT: Fine-grained Edge Detection with Learned Cause Tokens},
author = {Shaocong Xu and Xiaoxue Chen and Yuhang Zheng and Guyue Zhou and Yurong Chen and Hongbin Zha and Hao Zhao},
journal= {arXiv preprint arXiv:2308.03092},
year = {2023}
}
备注
code available at https://github.com/Daniellli/ECT.git