CST：面向参数与内存高效迁移学习的校准侧边微调
计算机视觉与模式识别
2024-02-21 v1 人工智能
摘要
实现普遍高精度的目标检测极具挑战性，目前业界的主流焦点在于检测特定类别的物体。然而，部署一个或多个目标检测网络需要一定的 GPU 内存用于训练，以及存储容量用于推理。这在资源受限条件下如何有效协调多个目标检测任务方面提出了挑战。本文引入了一种名为校准侧边微调（Calibration side tuning）的轻量级微调策略，该策略融合了适配器微调（adapter tuning）和侧边微调（side tuning）的要素，旨在将 Transformer 中成功应用的技术适配于 ResNet。该校准侧边微调架构结合了最大过渡校准，利用少量额外参数提升网络性能，同时保持训练过程的平滑性。此外，本文对多种微调策略进行了分析，并将其应用于 ResNet，从而扩展了关于目标检测网络微调策略的研究。另外，本文使用五个基准数据集进行了广泛实验。实验结果表明，该方法优于其他对比的最先进技术，并在微调方案的复杂度与性能之间实现了更好的平衡。
引用
@article{arxiv.2402.12736,
title = {CST: Calibration Side-Tuning for Parameter and Memory Efficient Transfer Learning},
author = {Feng Chen},
journal= {arXiv preprint arXiv:2402.12736},
year = {2024}
}