超越熵：风格迁移引导的单图像持续测试时自适应
计算机视觉与模式识别
2023-12-01 v1
摘要
持续测试时自适应（cTTA）方法旨在促进模型在动态变化的真实世界环境中且计算资源受限情况下的持续自适应。由于这一固有局限，现有方法无法同时实现准确性与效率。具体而言，在使用单张图像时，由批归一化层和熵损失引起的不稳定性使许多现有方法在真实世界 cTTA 场景中严重失稳。为克服这些挑战，我们提出 BESTTA，一种由风格迁移引导的新型单图像持续测试时自适应方法，其通过将输入图像的风格迁移至源风格，实现对目标环境的稳定高效自适应。为实现所提方法，我们设计了 BeIN——一种简洁而强大的归一化方法，以及风格引导损失。我们证明 BESTTA 在语义分割与图像分类任务上仅利用单张图像即可有效自适应于持续变化的目标环境。值得注意的是，尽管仅在 BeIN 层中训练两个参数、消耗最少内存，BESTTA 在性能上优于现有的 state-of-the-art 方法。
引用
@article{arxiv.2311.18270,
title = {Beyond Entropy: Style Transfer Guided Single Image Continual Test-Time Adaptation},
author = {Younggeol Cho and Youngrae Kim and Dongman Lee},
journal= {arXiv preprint arXiv:2311.18270},
year = {2023}
}
备注
17 pages, 11 figures