家族关系:空间 vs. 频率遮蔽在持续测试时适应中的系统性研究
计算机视觉与模式识别
2026-03-03 v2
摘要
近期的持续测试时适应(CTTA)方法采用掩码图像建模来稳定分布迁移下的学习,但每个方法都将其遮蔽家族F视为固定的设计选择,仅在选择策略S上进行创新,留下了家族轴向的探索空间。我们提出了一项系统实证研究,以隔离此轴向。使用一种受控的CTTA实例——Mask to Adapt(M2A)——固定S=random并采用标准损失函数,我们仅在空间(块、像素)和频率(全频段、低频段、高频段)家族之间变更F,同时使其他所有组件保持一致。本研究的贡献是为我们评估的CTTA设置提取设计指导:(1)遮蔽家族决定了适应是否积累有用结构或积累错误——在块标记架构上,空间遮蔽在长时间流中积累稳定的表示,而频率遮蔽则导致灾难性崩溃。我们通过一种结构保持机制来 characterize 这种不稳定性,其中空间一致性保持所需以避免与损坏谱签名相互重叠的广谱冗余性;(2)最佳家族取决于架构-任务对齐——在CNN上,其重叠感受野会稀释块遮挡,导致家族差距消失;而在具有全局线索和大容量ViT的细粒度任务上,频率遮蔽变得具有竞争力。在混合系统层面的比较中——其中基线也在损失和辅助组件上有所不同——M2A的随机选择在与启发式策略相当的性能表现,尽管我们将此观察视为建议性背景,而非对S相对重要性的受控量化。
引用
@article{arxiv.2512.08048,
title = {Family Matters: A Systematic Study of Spatial vs. Frequency Masking for Continual Test-Time Adaptation},
author = {Chandler Timm C. Doloriel and Yunbei Zhang and Yeonguk Yu and Taki Hasan Rafi and Muhammad salman siddiqui and Tor Kristian Stevik and Habib Ullah and Fadi Al Machot and Kristian Hovde Liland},
journal= {arXiv preprint arXiv:2512.08048},
year = {2026}
}
备注
code: https://github.com/chandlerbing65nm/m2a.git