面向大语言模型的无监督分层动态测试时适应
计算与语言
2026-02-11 v1
摘要
测试时适应（TTA）是指在推理阶段使用部署时的可用信号更新模型参数的技术，针对大语言模型（LLM）。本文聚焦于一种常见却鲜有探讨的场景：无监督、样本特定的测试时适应，即模型仅凭提示本身（无需金标准答案或外部监督）独立为每个提示进行适应。虽然这种方法听起来具有吸引力，但采用固定、手工设定的学习率进行无监督测试时适应会导致不稳定：更新可能过度拟合提示特定的统计特征，偏离期望的答案分布，从而最终损害生成质量。这种失败模式并不令人意外，因为在此场景下，TTA 必须在仅限少数梯度步数内适应单个提示，而标准训练则是在大规模数据集和长时间优化周期上对更新进行平均。因此，我们提出分层动态测试时适应框架，通过调节提示表示、LLM 结构和适应步骤来显式控制 TTA 强度。在我们的设置中，TTA 仅更新 LoRA 参数，轻量级超网络预测每个层、每个步骤的学习率乘子，从而实现细粒度控制。实验在 various 数据集和 LLMs 上 consistently 表明，我们的方法通过学习适应步骤和 Transformer 层投影上的有效缩放模式，显著增强了 TTA 的鲁棒性，同时提升了性能。
引用
@article{arxiv.2602.09719,
title = {Unsupervised Layer-Wise Dynamic Test Time Adaptation for LLMs},
author = {Longhuan Xu and Cunjian Chen and Feng Yin},
journal= {arXiv preprint arXiv:2602.09719},
year = {2026}
}