基于张量增强的离线基础特征学习
计算机视觉与模式识别
2024-10-04 v1
摘要
我们提出了一种名为 LOFF-TA（Learning from Offline Foundation Features with Tensor Augmentations）的高效训练方案，旨在资源受限的场景下利用基础模型的能力，而这些场景下直接开发基础模型是不可行的。LOFF-TA 通过对来自冻结基础模型的缓存特征嵌入训练紧凑分类器，实现最高可达 的训练速度加速和最高可达 的 GPU 内存降低。由于增强图像的嵌入数量难以存储，而增强过程对训练至关重要，我们提出对来自原始非增强图像的缓存嵌入应用张量增强。LOFF-TA 使无论基础模型大小如何，都能在计算资源有限的环境中利用其能力。此外，LOFF-TA 可用于应用于高分辨率图像，而不会增加计算开销。在某些情况下，我们发现使用 LOFF-TA 的训练成果优于直接微调基础模型。
引用
@article{arxiv.2410.02527,
title = {Learning from Offline Foundation Features with Tensor Augmentations},
author = {Emir Konuk and Christos Matsoukas and Moein Sorkhei and Phitchapha Lertsiravaramet and Kevin Smith},
journal= {arXiv preprint arXiv:2410.02527},
year = {2024}
}
备注
Accepted to the 38th Conference on Neural Information Processing Systems (NeurIPS 2024)