Meta-TTT：面向测试时训练的元学习 Minimax 框架
机器学习
2024-10-03 v1
摘要
测试时域适应是一项旨在推断期间适应有限无标签目标数据的挑战任务。当前依赖自监督学习和熵最小化的方法，在自监督学习任务与 primary 目标不一致时表现不佳。此外，当小批量中样本异质性有限时，最小化熵可能导致次优解。本文引入一种基于批归一化层的元学习 Minimax 框架，用于测试时训练，确保自监督学习任务与 primary 任务一致，从而解决小批量过拟合问题。我们采用混合 BN 方法，通过插值当前测试批次统计数据与源域统计数据，提出一种随机域合成方法以提高模型的泛化能力和对域迁移的鲁棒性。广泛实验表明，我们的方法在各种域适应和域泛化基准上超越了最先进技术，显著提升了在未见域上的预训练模型鲁棒性。
关键词
引用
@article{arxiv.2410.01709,
title = {Meta-TTT: A Meta-learning Minimax Framework For Test-Time Training},
author = {Chen Tao and Li Shen and Soumik Mondal},
journal= {arXiv preprint arXiv:2410.01709},
year = {2024}
}
备注
10 pages, 7 tables, 1 figure