Dr$^2$Net：用于内存高效微调的动态可逆双残差网络
计算机视觉与模式识别
2024-04-02 v2 人工智能
摘要
大型预训练模型在现代计算机视觉任务中日益关键。这些模型通常通过端到端微调用于下游任务，但对于高分辨率数据（例如视频理解、小目标检测和点云分析）的任务而言，这种方式内存消耗极大。在本文中，我们提出了动态可逆双残差网络，即 DrNet，这是一个新颖的网络架构家族，可作为替代网络以大幅降低的内存消耗对预训练模型进行微调。DrNet 包含两种类型的残差连接，一种维持预训练模型中的残差结构，另一种使网络可逆。由于其可逆性，可从输出重构的中间激活在训练期间从内存中清除。我们分别对两种类型的残差连接使用两个系数，并引入一种动态训练策略，将预训练模型无缝过渡到具有更高数值精度的可逆网络。我们在各种预训练模型和各种任务上评估了 DrNet，结果表明它可以达到与传统微调相当的性能，但内存使用量显著减少。
引用
@article{arxiv.2401.04105,
title = {Dr$^2$Net: Dynamic Reversible Dual-Residual Networks for Memory-Efficient Finetuning},
author = {Chen Zhao and Shuming Liu and Karttikeya Mangalam and Guocheng Qian and Fatimah Zohra and Abdulmohsen Alghannam and Jitendra Malik and Bernard Ghanem},
journal= {arXiv preprint arXiv:2401.04105},
year = {2024}
}