基于对比激活引导的个性化文本生成
计算与语言
2025-03-10 v1
摘要
个性化文本生成旨在从用户的历史文本中推断其写作风格偏好，并生成能够忠实反映这些风格特征的输出。现有方法主要采用两种范式：检索增强生成(RAG)和参数高效微调(PEFT)。尽管这些方法已为该领域取得了进展，但它们面临两个关键限制：(1) 历史文本中内容语义与风格模式的缠结阻碍了准确建模用户特定的写作偏好；(2) 由于RAG的检索操作导致推理延迟以及PEFT为每个用户存储模型参数的需求，导致可扩展性挑战。为克服这些限制，我们提出了StyleVector，这是一个无训练框架，将个性化写作风格解耦并表示为LLM激活空间中的向量，使其在推理期间能够进行风格引导式生成，而无需进行高成本的检索或参数存储。综合实验表明，我们的框架在个性化生成方面实现了显著的8%相对改进，同时将存储需求比PEFT方法降低了1700倍。
引用
@article{arxiv.2503.05213,
title = {Personalized Text Generation with Contrastive Activation Steering},
author = {Jinghao Zhang and Yuting Liu and Wenjie Wang and Qiang Liu and Shu Wu and Liang Wang and Tat-Seng Chua},
journal= {arXiv preprint arXiv:2503.05213},
year = {2025}
}