蒸馏立体网络以构建高性能且高效的轻量级网络
计算机视觉与模式识别
2025-03-25 v1
摘要
知识蒸馏在视觉任务（如分类和分割）中已相当流行，然而尽管立体匹配方法应用广泛，针对最先进的立体匹配方法进行蒸馏的工作却并不多见。立体匹配网络中缺乏使用该方法的原因之一在于这些网络固有的复杂性，其中一个典型的网络由多个二维和三维模块组成。在本研究中，我们将最先进的立体方法的见解与通用知识蒸馏技术系统地结合起来，开发了一个用于立体网络蒸馏的联合框架，取得了具有竞争力的结果并实现了更快的推理。此外，我们通过详细的实证分析表明，从立体网络中蒸馏知识需要对完整的蒸馏流水线进行精心设计，从骨干网络到正确选择蒸馏点及相应的损失函数。这使得学生网络不仅更轻量、更快速，而且表现出卓越的性能。例如，我们的学生网络在基准 SceneFlow 数据集上的表现优于 PSMNet [1]、CFNet [2] 和 LEAStereo [3] 等性能导向的方法，速度分别提升了 8 倍、5 倍和 8 倍。此外，与推理时间少于 100ms 的速度导向方法相比，我们的学生网络表现优于所有测试的方法。另外，在 ETH3D 和 Middlebury 等未见数据集上进行测试时，我们的学生网络也展现出更好的泛化能力。
引用
@article{arxiv.2503.18544,
title = {Distilling Stereo Networks for Performant and Efficient Leaner Networks},
author = {Rafia Rahim and Samuel Woerz and Andreas Zell},
journal= {arXiv preprint arXiv:2503.18544},
year = {2025}
}
备注
8 pages, 3 figures. Published in: 2023 International Joint Conference on Neural Networks (IJCNN)