重新思考测试时训练：为少样本源自适应倾斜潜在分布
机器学习
2026-02-04 v1 机器学习
摘要
在部署场景中，常常会出现约束，使得即使是轻量级参数更新（例如参数高效微调）也可能引起模型漂移或调优不稳定。我们研究了在完全冻结模型的情况下进行少样本分类的测试时适应，其中此外不可访问上游数据。我们提出了或许是首个无需训练的推理方法，通过对编码器引发的潜在嵌入分布进行测度改变来适应新的任务。使用从小型标记支持集派生的任务相似性得分，对潜在分布进行指数倾斜，以在不修改模型参数的前提下以 KL 最优方式进行重新加权。经验上，该方法在多个基准和 shot 规模下始终与基于参数更新的方法竞争，同时受制于更严格的约束。这些结果表明，即使在完全冻结的模型管道下，推理水平的分布纠正也可行，用于测试时适应。
引用
@article{arxiv.2602.02633,
title = {Rethinking Test-Time Training: Tilting The Latent Distribution For Few-Shot Source-Free Adaptation},
author = {Tahir Qasim Syed and Behraj Khan},
journal= {arXiv preprint arXiv:2602.02633},
year = {2026}
}