面向以人为中心的文本理解的个性化 LoRA
计算与语言
2024-03-12 v1
摘要
有效且高效地将预训练语言模型适应于以人为中心的文本理解是一项挑战，因为在大多数个性化应用中，用户 token 达到百万级别且没有具体的显式语义。一种标准的参数高效方法（例如 LoRA）需要为每个用户记忆大量适配器套件。在这项工作中，我们为 HCTU 任务引入了一种带有即插即用框架的个性化 LoRA。PLoRA 有效、参数高效，且能在 PLM 中动态部署。此外，采用了个性化 dropout 和互信息最大化策略，因此所提出的 PLoRA 能够很好地适应少样本/零样本学习场景，以解决冷启动问题。在四个基准数据集上进行的实验表明，对于 HCTU 任务，所提出的方法在全样本/少样本/零样本学习场景中均优于现有方法，即使其可训练参数更少。为了可复现性，本文的代码可在以下网址获取：https://github.com/yoyo-yun/PLoRA。
引用
@article{arxiv.2403.06208,
title = {Personalized LoRA for Human-Centered Text Understanding},
author = {You Zhang and Jin Wang and Liang-Chih Yu and Dan Xu and Xuejie Zhang},
journal= {arXiv preprint arXiv:2403.06208},
year = {2024}
}
备注
Accepted by AAAI 2024