面向持续领域演化的在线领域感知大语言模型解码
机器学习
2026-02-10 v1 人工智能
摘要
大语言模型通常假设领域静态，在领域特定数据上进行离线微调。然而在实践中，领域知识会通过新的法规、产品、服务和交互模式持续演化。针对每个新实例重新训练或微调大语言模型在计算上不可行。此外，真实环境还表现出数据分布随时间变化的动态特性。忽视这种现象（通常称为概念漂移）会显著降低模型的预测精度。演化中的领域与静态适配流程之间的这种不匹配，凸显了对无需昂贵重训练的高效实时适配方法的需求。为此，我们提出了在线领域感知解码框架（ODD）。ODD在基础大语言模型与基于前缀树的先验之间进行概率级融合，并通过基于分歧性和连续性信号的自适应置信度调制来引导。在多种漂移场景下的实证评估表明，ODD在所有句法和语义自然语言生成指标上均持续优于LLM-Greedy和LLM-Temp Scaled方法。与最佳基线相比，ODD在ROUGE-L上取得了0.065的绝对增益，在余弦相似度上取得了13.6%的相对提升。这些结果证明了ODD对演化的词汇和上下文模式的鲁棒性，使其适用于动态大语言模型应用。
引用
@article{arxiv.2602.08088,
title = {Online Domain-aware LLM Decoding for Continual Domain Evolution},
author = {Mohammad Abu-Shaira and Weishi Shi},
journal= {arXiv preprint arXiv:2602.08088},
year = {2026}
}