IT$^3$：幂等测试时训练
计算机视觉与模式识别
2025-05-27 v2
摘要
深度学习模型在实际部署时常因训练数据与测试数据之间的分布迁移而难以处理。虽然已有方法如域适应和测试时训练（TTT）提供了部分解决方案，但通常需要额外数据或领域特定的辅助任务。我们提出了幂等测试时训练（IT），这是一种新方法，使其能够仅使用当前测试实例即可实现对分布迁移的在线适应，而无需任何辅助任务设计。我们的关键洞察是，通过强制函数的重复应用结果相同（即实现幂等性），可有效取代以前 TTT 方法中使用的领域特定辅助任务。我们理论上将幂等性与预测置信度关联，并证明最小化模型在推理期间连续应用之间的距离可提升外分布性能。广泛的实验覆盖多个领域（包括图像分类、空气动力学预测和航空分割）和各种网络结构（MLP、CNN、GNN），表明 IT 在各类任务中均一致优于现有方法，同时更简洁且更具普适性。我们的结果表明，幂等性为跨领域和跨网络结构的测试时适应提供了一条普适原则。
引用
@article{arxiv.2410.04201,
title = {IT$^3$: Idempotent Test-Time Training},
author = {Nikita Durasov and Assaf Shocher and Doruk Oner and Gal Chechik and Alexei A. Efros and Pascal Fua},
journal= {arXiv preprint arXiv:2410.04201},
year = {2025}
}
备注
Accepted at ICML 2025