ZOTTA：基于零阶优化的无梯度测试时适应
计算机视觉与模式识别
2026-03-17 v1 机器学习
摘要
测试时适应（TTA）旨在通过适应无标签测试数据来提高模型在分布迁移下的鲁棒性，但大多数现有方法依赖反向传播（BP），计算成本高且不兼容量化模型等非可微模型，限制了在众多边缘设备上的实际部署。最近的BP-free方法虽然减轻了开销，但要么与特定网络架构绑定，要么在处理高维模型时优化能力有限。我们提出ZOTTA，一个完全无BP的TTA框架，通过仅使用前向传播实现高效适应，基于零阶优化（ZOO）。虽然ZOO在理论上具有吸引力，但直接应用会导致高维参数空间下收敛缓慢，且因缺乏标签而优化不稳定。ZOTTA通过1）分布鲁棒层选择，自动识别并冻结已提取分布不变特征的层，仅更新对分布敏感的层以降低优化维度并加快收敛速度；2）空间特征聚合对齐，通过对齐源和目标之间的全局聚合空间特征以减少梯度方差。这些组件共同实现了无架构依赖且稳定的BP-free适应。在ImageNet-C/R/Sketch/A等数据集上进行了大量实验，表明ZOTTA优于或相当于基于BP的方法，例如在ImageNet-C上将内存使用减少84%，在SAR上提升3.9%的准确率。
引用
@article{arxiv.2603.14254,
title = {ZOTTA: Test-Time Adaptation with Gradient-Free Zeroth-Order Optimization},
author = {Ronghao Zhang and Shuaicheng Niu and Qi Deng and Yanjie Dong and Jian Chen and Runhao Zeng},
journal= {arXiv preprint arXiv:2603.14254},
year = {2026}
}
备注
14 pages, 13figures