RevBiFPN：全可逆双向特征金字塔网络
机器学习
2023-05-02 v2 人工智能
计算机视觉与模式识别
摘要
本文提出RevSilo，首个可逆双向多尺度特征融合模块。与其他可逆方法一样，RevSilo通过重计算消除了存储隐藏激活的需求。然而，现有可逆方法不适用于多尺度特征融合，因此无法用于一大类网络。双向多尺度特征融合促进了局部与全局一致性，已成为面向空间敏感任务（如HRNet (Sun et al., 2019a) 和 EfficientDet (Tan et al., 2020)）网络的事实设计原则。这些网络在与高分辨率输入结合时，在各种计算机视觉任务中取得了最先进结果。然而，训练它们需要大量加速器内存以保存大型多分辨率激活。这些内存需求本质上限制了神经网络规模，制约了来自尺度带来的改进。RevSilo跨分辨率尺度运行，缓解了这些问题。通过堆叠RevSilo，我们创建了RevBiFPN，一种全可逆双向特征金字塔网络。RevBiFPN在与EfficientNet等网络竞争的同时，图像分类训练内存最多减少19.8倍。在MS COCO上微调时，RevBiFPN相较HRNet在AP上提升多达2.5%，且使用更少MACs并减少2.4倍训练时间内存。
引用
@article{arxiv.2206.14098,
title = {RevBiFPN: The Fully Reversible Bidirectional Feature Pyramid Network},
author = {Vitaliy Chiley and Vithursan Thangarasa and Abhay Gupta and Anshul Samar and Joel Hestness and Dennis DeCoste},
journal= {arXiv preprint arXiv:2206.14098},
year = {2023}
}
备注
Presented at MLSys 2023. Code available from Cerebras Systems: https://github.com/CerebrasResearch/RevBiFPN