Free on the Fly：基于在线 EM 的测试时适应灵活性提升

视觉语言模型 (VLM) 因其强大的泛化能力而在开放世界图像识别中成为突出的研究方向。然而，由于域迁移和分布式变化，尤其是在测试数据分布与训练数据不一致时，其实际应用效果受到制约。因此，测试时适应 (TTA) 的范式应运而生，使我们能够在测试时使用在线离线数据，支持独立的样本预测，无需依赖测试注释。传统的 TTA 方法通常依赖昂贵的训练或优化过程，或对获取或存储历史训练和测试数据作出不现实的假设。相反，本研究提出了 FreeTTA，这是一种无训练、全球可用的方法，无需作出任何假设，以提升 TTA 的灵活性。更重要的是，FreeTTA 是首次显式建模测试数据分布，使我们能够利用测试样本之间的内在关系来增强单个样本的预测，而无需同时访问样本——这是以前未曾探索的方向。FreeTTA 通过引入一种在线 EM 算法，利用来自 VLM 的零样本预测作为先验，迭代计算每个在线测试样本的后验概率并更新参数。实验表明，在 15 个数据集上的跨域和分布外设置下，FreeTTA 相比最先进的方法实现了稳定且显著的改进。