受限模型访问下的任务特定适配
计算机视觉与模式识别
2025-02-04 v1
摘要
基础模型的出现在 various downstream 任务中显著提升了性能，微调往往能获得更好的结果。然而，现有微调方法通常需要访问模型的权重和层，导致管理多个模型副本或推理管道方面的挑战、边缘设备优化中的效率问题，以及对专有权、隐私以及暴露于不安全模型变体方面的顾虑。为解决这些挑战，本文通过探索“灰盒”微调方法，其中模型的架构和权重保持隐藏，仅允许梯度传播。我们引入一种新颖且简单有效的框架，使用模型输入和输出处的两个轻量可学习模块来适应新任务。此外，我们还提出一种较不严格的变体，提供更多进入模型的入口，平衡性能与模型暴露。我们在多个主干模型上进行评估，测试基准包括文本-图像对齐、文本-视频对齐和草图-图像对齐。结果表明，尽管访问受限，我们的灰盒方法在性能上与完全访问微调方法相当。
引用
@article{arxiv.2502.00796,
title = {Task-Specific Adaptation with Restricted Model Access},
author = {Matan Levy and Rami Ben-Ari and Dvir Samuel and Nir Darshan and Dani Lischinski},
journal= {arXiv preprint arXiv:2502.00796},
year = {2025}
}