仅使用前向传播的测试时模型自适应
机器学习
2024-05-30 v2
摘要
测试时自适应在适应未见测试样本（存在潜在分布偏移）方面已被证明有效。然而，在现实场景中，模型通常部署在资源受限的设备上（如FPGA），并且通常被量化且参数硬编码不可修改以加速。鉴于此，现有方法往往不可行，因为它们严重依赖计算密集型的反向传播进行模型更新，而这可能不被支持。为了解决这个问题，我们提出了一种测试时前向优化自适应（FOA）方法。在FOA中，我们仅通过无导数的协方差矩阵自适应进化策略来学习一个新添加的提示（作为模型输入）。为了使该策略在在线无监督设置下稳定工作，我们设计了一个新的适应度函数，通过测量测试-训练统计差异和模型预测熵。此外，我们设计了一种激活偏移方案，直接调整偏移测试样本的模型激活，使其与源训练域对齐，从而进一步增强自适应性能。在不使用任何反向传播和改变模型权重的情况下，FOA在量化8位ViT上运行，其性能优于全精度32位ViT上的基于梯度的TENT，同时在ImageNet-C上实现了高达24倍的内存减少。
引用
@article{arxiv.2404.01650,
title = {Test-Time Model Adaptation with Only Forward Passes},
author = {Shuaicheng Niu and Chunyan Miao and Guohao Chen and Pengcheng Wu and Peilin Zhao},
journal= {arXiv preprint arXiv:2404.01650},
year = {2024}
}
备注
18 pages, 4 figures, 17 tables, accepted by International Conference on Machine Learning