TiTok：通过对比性超额实现面向 LoRA 的词级知识迁移
计算与语言
2026-05-15 v3 人工智能
摘要
大型语言模型 (LLM) 在实际场景中广泛应用，但对其进行微调会带来显著的计算和存储成本。参数高效微调 (PEFT) 方法如 LoRA 可缓解这些成本；然而，适应参数依赖于基础模型，无法跨不同主干模型迁移。一种解决方法是通过知识蒸馏，但其有效性本质上取决于训练数据。近期工作如 TransLoRA 通过生成合成数据来避免此问题，但需要训练额外的判别模型，增加复杂度。本文提出了 TiTok，一种新的框架，通过词级知识迁移实现有效的 LoRA 移植。具体而言，TiTok 通过源模型和无 LoRA 情况之间的词级对比性超额捕获任务相关信息。该超额凸显信息化词，并可在无需额外模型或开销的情况下实现合成数据的选择性过滤。通过在三个基准测试上的实验，涵盖多种迁移设置，我们证明 TiTok 在整体上始终有效，平均性能提升为 +4~10%。
引用
@article{arxiv.2510.04682,
title = {TiTok: Transfer Token-level Knowledge via Contrastive Excess to Transplant LoRA},
author = {Chanjoo Jung and Jaehyung Kim},
journal= {arXiv preprint arXiv:2510.04682},
year = {2026}
}
备注
ICLR 2026