分段感知模型的内存高效卷积适配器
计算机视觉与模式识别
2024-09-25 v1
摘要
图像分割的基础模型 Segment Anything（SAM）自提出以来在各个领域得到积极研究。各种研究旨在将 SAM 适应于特定领域，其中一种显著方法是添加和训练轻量级适配器模块。尽管适配器方法的微调方法报告了参数效率和显着性能提升，但面临一个常被忽视的问题：相对于可训练参数数量，GPU 内存消耗过度。针对这一问题，本文提出了一种内存高效的并行卷积适配器架构。该架构与 SAM 的图像编码器并行连接，无需在模型训练期间存储图像编码器的激活和梯度。我们提出的架构在实验中表现出竞争力，同时使用不足 SAM Adapter 一半的 GPU 内存，表明其作为硬件限制下禁止基于适配器学习的简单解码器微调的替代方案具有价值。我们的代码实现已在我们的 GitHub 上提供。
关键词
引用
@article{arxiv.2409.15889,
title = {CAD: Memory Efficient Convolutional Adapter for Segment Anything},
author = {Joohyeok Kim and Joonhyeon Song and Seohwan Yun and Seongho Yoon and Sangmin Lee},
journal= {arXiv preprint arXiv:2409.15889},
year = {2024}
}
备注
14 pages