通过潜在子空间系数搜索实现高效测试时适应

现实部署常常暴露模型于分布迁移中，使得测试时适应（TTA）对于鲁棒性至关重要。然而，大多数 TTA 方法不利于边缘部署，因其依赖反向传播、激活缓冲或测试时小批量，导致高延迟与高内存开销。我们提出了 ELaTTA（Efficient Latent Test-Time Adaptation），一个针对严格设备约束下的单实例 TTA 的无梯度框架。ELaTTA 冻结模型权重，通过优化源数据通过截断奇异值分解（SVD）预计算的源诱导主潜在子空间中的低维系数向量来适应每个测试样本。该系数向量几乎无需额外存储。推理阶段，ELaTTA 通过 CMA-ES 优化 $k$ 维系数，以提高预测置信度，实际上是在优化高斯平滑目标，从而在决策边界附近提高稳定性。跨六大基准测试与多种网络架构，ELaTTA 在严格与持续的单实例协议下均实现了状态的最佳性能，同时将计算量降低最高可达 ${110\times}$，峰值内存降低最高可达 ${11\times}$。我们进一步在 ZYNQ-7020 平台上演示了设备端部署。