面向低端设备的基于 Transformer 的局部特征匹配
计算机视觉与模式识别
2022-02-03 v1
摘要
LoFTR arXiv:2104.00680 是一种用于在图像对上寻找合适局部特征匹配的高效深度学习方法。本文报道了将该方法进行优化以在计算性能低且内存受限的设备上运行的工作。原始的 LoFTR 方法基于一个 ResNet arXiv:1512.03385 头部和两个基于 Linear Transformer arXiv:2006.04768 架构的模块。在所呈现的工作中，仅保留了粗匹配块，参数数量被显著减少，并且网络使用知识蒸馏技术进行训练。对比表明，尽管模型尺寸大幅缩减，该方法仍能使学生在粗匹配块中相较于教师模型获得适当的特征检测精度。此外，本文展示了使模型兼容 NVIDIA TensorRT 运行时所需的额外步骤，并给出了一种针对低端 GPU 优化训练方法的方法。
引用
@article{arxiv.2202.00770,
title = {Local Feature Matching with Transformers for low-end devices},
author = {Kyrylo Kolodiazhnyi},
journal= {arXiv preprint arXiv:2202.00770},
year = {2022}
}
备注
Project GitHub page https://github.com/Kolkir/Coarse_LoFTR_TRT