IKnow：面向有效域适应的指令-知识感知持续预训练
人工智能
2025-10-24 v1 计算与语言
摘要
持续预训练承诺能够仅利用无标签测试时数据来适应大语言模型（LLM），但直接将标准自监督目标应用于指令调优模型会损害其指令遵循能力和语义表示。现有方法假设可获取原始基础模型或依赖来自外部领域特定数据库的知识——这两种做法在基模型权重被封闭以确保安全或缺乏可靠外部语料库的情况下都构成现实障碍。本文提出 Instruction-Knowledge-Aware Continual Adaptation（IKnow），一个简单且通用的框架，采用指令-响应对话格式构建新型自监督目标。该方法不依赖外部资源，利用文本自身嵌入的领域知识，并在更深层语义水平上对其进行编码。
引用
@article{arxiv.2510.20377,
title = {IKnow: Instruction-Knowledge-Aware Continual Pretraining for Effective Domain Adaptation},
author = {Tianyi Zhang and Florian Mai and Lucie Flek},
journal= {arXiv preprint arXiv:2510.20377},
year = {2025}
}