一次性足够吗？面向实用测试时适应的多簇记忆

测试时适应（TTA）通过仅使用无标签测试数据，在推理阶段将预训练模型适应到分布迁移。就实际测试时适应（PTTA）而言，其中测试流是时序相关且非独立同分布的，记忆已成为稳定适应不可或缺的组件，但现有方法普遍将样本存储在单一的非结构化池中。我们指出，这种单簇设计与PTTA根本不匹配：流簇可分析揭示，测试流本质上是多模态的，最优混合组件数始终远大于1。为弥合这一结构差距，我们提出多簇记忆（MCM），一种即插即用的框架，使用轻量级像素级统计描述符将存储样本组织成多个簇。MCM引入三种互补机制：基于描述符的簇分配以捕获不同分布模式、相邻簇合并（ACC）以通过合并最相似的时序相邻簇来限制记忆使用，以及统一簇检索（UCR）以确保适应期间所有模式的监督均衡。该方法集成于CIFAR-10-C、CIFAR-100-C、ImageNet-C和DomainNet上的三种当代TTA方法，实现了所有12种配置的一致性提升，在ImageNet-C上提升最高可达5.00%，在DomainNet上提升最高可达12.13%。值得注意的是，这些提升随分布复杂度而比例增长：更大标签空间且多模态性更强的场景，从多簇组织中受益最大。GMM基记忆诊断进一步确认，MCM保持近乳最佳的分布平衡性、熵值和模式覆盖率，而单簇记忆则表现出持续的不平衡和逐渐的模式丢失。这些结果确立了记忆组织作为实际测试时适应关键设计轴。