重访真实测试时训练：基于锚定聚类正则化自训练的序贯推断与自适应
机器学习
2023-03-21 v1 计算机视觉与模式识别
摘要
在面临分布偏移的目标域数据上部署模型需要自适应。测试时训练（TTT）作为一种解决方案，适用于无法获取完整源域数据且需对目标域进行即时推断的真实场景。尽管已有诸多 TTT 研究，实验设置仍存在混淆，导致不公平比较。本工作中，我们首先重访 TTT 假设，并按两个关键因素对 TTT 协议进行分类。在多种协议中，我们采用真实的序贯测试时训练（sTTT）协议，并在此下提出测试时锚定聚类（TTAC）方法以增强测试时特征学习。TTAC 在源域和目标域中发现聚类，并将目标聚类匹配到源聚类以改进自适应。当源域信息严格缺失（即无源）时，我们进一步开发高效方法推断源域分布以用于锚定聚类。最后，自训练（ST）在从无标签数据学习中已展现巨大成功，且我们通过实证发现将 ST 单独用于 TTT 易致确认偏差。因此，引入一种更有效的 TTT 方法，以锚定聚类正则化自训练，改进后模型称为 TTAC++。我们证明，在所有 TTT 协议下，TTAC++ 在五个 TTT 数据集上持续优于最先进方法，包括 corrupted 目标域、精选难样本、合成到真实自适应及对抗攻击目标域。我们希望本工作提供 TTT 方法的公平基准，未来研究应在相应协议内比较。
引用
@article{arxiv.2303.10856,
title = {Revisiting Realistic Test-Time Training: Sequential Inference and Adaptation by Anchored Clustering Regularized Self-Training},
author = {Yongyi Su and Xun Xu and Tianrui Li and Kui Jia},
journal= {arXiv preprint arXiv:2303.10856},
year = {2023}
}
备注
Test-time training, Self-training. arXiv admin note: substantial text overlap with arXiv:2206.02721