通过自注意力蒸馏学习轻量级车道检测CNN
计算机视觉与模式识别
2019-08-05 v1
摘要
由于车道标注中固有的极为微弱且稀疏的监督信号，训练用于车道检测的深度模型具有挑战性。若不从更丰富的上下文中学习，这些模型常在具挑战性的场景中失败，例如严重遮挡、模糊车道与恶劣光照条件。本文提出一种新颖的知识蒸馏方法，即自注意力蒸馏(SAD)，其使模型从自身学习并在无任何额外监督或标签的情况下获得显著提升。具体而言，我们观察到从已训练至合理水平的模型中提取的注意力图会编码丰富的上下文信息。这些有价值的上下文信息可作为'免费'监督的一种形式，通过在网络自身内执行自顶向下与逐层的注意力蒸馏，用于进一步的表示学习。SAD可轻松集成于任何前馈卷积神经网络(CNN)中，且不增加推理时间。我们使用ENet、ResNet-18与ResNet-34等轻量级模型在三个流行车道检测基准(TuSimple、CULane与BDD100K)上验证了SAD。最轻模型ENet-SAD表现与现有算法相当甚至超越。值得注意的是，与最先进的SCNN相比，ENet-SAD参数少20倍且运行快10倍，同时在所有基准上仍取得引人注目的性能。我们的代码见https://github.com/cardwing/Codes-for-Lane-Detection。
引用
@article{arxiv.1908.00821,
title = {Learning Lightweight Lane Detection CNNs by Self Attention Distillation},
author = {Yuenan Hou and Zheng Ma and Chunxiao Liu and Chen Change Loy},
journal= {arXiv preprint arXiv:1908.00821},
year = {2019}
}
备注
9 pages, 8 figures; This paper is accepted by ICCV 2019; Our code is available at https://github.com/cardwing/Codes-for-Lane-Detection