用于排水管道缺陷分类的双流注意力Transformer
计算机视觉与模式识别
2023-11-29 v1 机器学习
摘要
我们提出一种双流多尺度视觉Transformer（DS-MSHViT）架构，其处理RGB与光流输入以实现高效的排水管道缺陷分类。与现有结合在两个模态上分别训练的两个独立网络预测的方法不同，我们联合训练具有RGB与运动两个分支的单一网络。我们的核心思想是利用自注意力正则化来发挥RGB与运动流的互补优势。仅运动流难以生成准确的注意力图，因为运动图像缺乏RGB图像中存在的丰富视觉特征。为此，我们在双流之间引入注意力一致性损失。通过自注意力正则化利用运动线索，我们对齐并增强RGB注意力图，使网络聚焦于相关输入区域。我们在公开数据集上评估了数据，并在一个新数据集上交叉验证模型性能。我们的方法优于现有利用卷积神经网络（CNNs）或多尺度混合视觉Transformer（MSHViTs）且未在双流间采用注意力正则化的模型。
引用
@article{arxiv.2311.16145,
title = {Dual-Stream Attention Transformers for Sewer Defect Classification},
author = {Abdullah Al Redwan Newaz and Mahdi Abdeldguerfi and Kendall N. Niles and Joe Tom},
journal= {arXiv preprint arXiv:2311.16145},
year = {2023}
}