你只需要4个额外 token：LLM 测试时适应的协同方法
计算与语言
2026-03-26 v2 人工智能
机器学习
摘要
大型语言模型 (LLM) 正在越来越多地部署在金融、医疗和农业等专业领域，在这些领域它们面临着与训练数据显著分布迁移的挑战。领域特定的微调可以缓解这一挑战，但依赖于高质量的标记数据，而在专业知识有限的setting中，这类数据收集成本高昂且耗时。我们研究无标签测试时适应语言模型的问题，提出 SyTTA—a一个在推理时无需额外监督即可即时适应模型的框架。SyTTA 结合了分布迁移下产生的两种互补不确定性信号：输入侧的困惑度 (perplexity)，指示与领域特定术语和模式的不匹配；输出侧的预测熵，指示生成期间 token 概率分布的 diffuse 和 不稳定。 在多样化的模型架构和领域特定基准测试中，SyTTA 均能实现一致的提升。值得注意的是，在农业问答任务上，SyTTA 仅使用 4 个额外 token 每个查询，即可使 Qwen-2.5-7B 在 Rouge-LSum 上提升超过 120%。这些结果表明，在标记数据稀缺的领域，无需标记示例即可实现语言模型的有效测试时适应是可行的。代码将在接受后公开。
引用
@article{arxiv.2510.10223,
title = {You only need 4 extra tokens: Synergistic Test-time Adaptation for LLMs},
author = {Yijie Xu and Huizai Yao and Zhiyu Guo and Pengteng Li and Aiwei Liu and Xuming Hu and Weiyu Guo and Hui Xiong},
journal= {arXiv preprint arXiv:2510.10223},
year = {2026}
}
备注
Under Review