StyleAdaptedLM：通过高效风格迁移增强指令遵循模型
计算与语言
2025-07-25 v1
摘要
针对缺乏指令-响应格式且又不得不牺牲指令遵循性的语料库，适应 LLM 以特定风格特征（如品牌语气或作者语体）具有挑战性。我们提出 StyleAdaptedLM 框架，通过低秩适配 (LoRA) 高效将风格特征迁移到指令跟随模型。首先在具有多样化非结构化风格语料库的基础模型上训练 LoRA 适配器，然后与独立的指令跟随模型合并。这使我们能够在无需配对数据且不牺牲任务性能的情况下实现稳健的风格定制。跨多个数据集和模型的实验表明，该方法在保持指令遵循性的同时显著提升风格一致性，人类评估确认模型成功吸收了特定品牌的约定。StyleAdaptedLM 为 LLM 的风格个性化提供了高效路径。
引用
@article{arxiv.2507.18294,
title = {StyleAdaptedLM: Enhancing Instruction Following Models with Efficient Stylistic Transfer},
author = {Pritika Ramu and Apoorv Saxena and Meghanath M Y and Varsha Sankar and Debraj Basu},
journal= {arXiv preprint arXiv:2507.18294},
year = {2025}
}