PerPLM：通过写作者特定中间学习与提示对预训练语言模型进行个性化微调
计算与语言
2023-09-15 v1
摘要
词语和短语的含义不仅取决于它们被使用的位置（上下文），还取决于谁在使用它们（写作者）。预训练语言模型（PLMs）是捕捉上下文的有力工具，但它们通常为跨不同写作者的通用用途而预训练和微调。本研究旨在通过针对特定写作者对 PLM 进行个性化微调来提高文本理解任务的准确性。我们关注一种通用设定，其中仅目标写作者的纯文本可用于个性化。为避免为不同用户微调和存储多个 PLM 副本的成本，我们详尽探索使用写作者特定提示来个性化统一的 PLM。由于这些提示的设计与评估尚属欠发达领域，我们引入并比较了在我们设定下可能的不同类型提示。为最大化基于提示的个性化微调的潜力，我们提出了一种基于掩码语言建模的个性化中间学习，以提取写作者文本中与任务无关的特质。我们使用多个任务、数据集和 PLM 进行的实验揭示了不同提示的性质以及我们中间学习方法的有效性。
引用
@article{arxiv.2309.07727,
title = {PerPLM: Personalized Fine-tuning of Pretrained Language Models via Writer-specific Intermediate Learning and Prompts},
author = {Daisuke Oba and Naoki Yoshinaga and Masashi Toyoda},
journal= {arXiv preprint arXiv:2309.07727},
year = {2023}
}
备注
11 pages