从深度位姿回归网络中提取知识
计算机视觉与模式识别
2019-08-05 v1 机器学习
机器人学
摘要
本文提出一种从深度位姿回归网络中提取知识以实现高效视觉里程计（VO）的新方法。标准知识蒸馏依赖于“暗知识”以成功实现知识迁移。由于在位姿回归中无法获得此类知识且教师预测并非总是准确，我们提出仅在我们信任教师时才强调知识迁移。为此，我们使用教师损失作为置信度分数，对教师的预测赋予可变相对重要性。我们通过注意力模仿损失（AIL）以及在通过注意力提示训练（AHT）方法学习教师中间表示时，将该置信度分数注入到主训练任务中。据我们所知，这是首个成功从深度位姿回归网络中提取知识的工作。我们在 KITTI 和 Malaga 数据集上的评估表明，我们能使学生预测接近教师，同时参数减少高达 92.95%，计算速度提升 2.12 倍。
引用
@article{arxiv.1908.00858,
title = {Distilling Knowledge From a Deep Pose Regressor Network},
author = {Muhamad Risqi U. Saputra and Pedro P. B. de Gusmao and Yasin Almalioglu and Andrew Markham and Niki Trigoni},
journal= {arXiv preprint arXiv:1908.00858},
year = {2019}
}
备注
Accepted to ICCV 2019