中文

FOZO:面向测试时适应的前向式零阶提示优化

计算机视觉与模式识别 2026-03-27 v3

摘要

测试时适应 (Test-Time Adaptation, TTA) 是使深度学习模型处理真实世界数据分布迁移的关键技术。然而,现有方法面临显著局限:基于反向传播的方法由于计算和内存需求高,以及在适应期间修改模型权重的倾向,不适用于低端部署设备;而传统的无反向传播技术则表现出受限的适应能力。本文提出 Forward-Only Zeroth-Order Optimization (FOZO),一种新型且实用的无反向传播 TTA 范式。FOZO 利用高效的零阶提示优化,由目标函数驱动,既优化中间特征统计,又优化预测熵。为确保在 out-of-distribution 数据流上的高效稳定适应,我们引入了动态衰减的扰动尺度用于零阶梯度估计,并在 TTA 数据流假设下理论证明其收敛性。广泛的持续适应实验在 ImageNet-C、ImageNet-R 和 ImageNet-Sketch 上表明,FOZO 性能卓越,在 ImageNet-C (5K, level 5) 上实现 59.52% 的 Top-1 准确率,优于主要基于梯度的方法和 SOTA 前向-only FOA (58.13%)。此外,FOZO 在量化 (INT8) 模型上表现出强大的泛化能力。这些发现表明,FOZO 是资源受限场景下 TTA 部署的高度具竞争力的解决方案。

关键词

引用

@article{arxiv.2603.04733,
  title  = {FOZO: Forward-Only Zeroth-Order Prompt Optimization for Test-Time Adaptation},
  author = {Xingyu Wang and Tao Wang},
  journal= {arXiv preprint arXiv:2603.04733},
  year   = {2026}
}

备注

Accepted to CVPR 2026