SALT：面向封闭式分割计算环境的轻量级模型适配方法

我们提出SALT（Split-Adaptive Lightweight Tuning），即一种针对Split Computing受限环境下的轻量级模型适配框架。在此类封闭环境中，头部网络和尾部网络均为专有且无法被用户访问，这使得常规适配方法不可行，因为它们需要访问模型参数或结构。SALT通过在客户端引入一个紧凑可训练的适配器来细化来自头部网络的潜在特征，从而实现用户特定的适配，而无需修改原始模型或增加通信开销。我们在CIFAR-10和CIFAR-100上的用户特定分类任务上对SALT进行评估，实验结果表明，SALT在较低训练延迟的情况下实现了较高的准确率，优于微调方法。此外，SALT支持针对 lossy 网络进行鲁棒推理，这是边缘云环境中常见的挑战。凭借最小的部署开销，SALT为受严格系统约束下的边缘AI系统实现个性化推理提供了实用解决方案。