面向用户个性化的参数高效微调 (PEFT-U)
计算与语言
2024-07-26 v1 人工智能
摘要
大型语言模型 (LLM) 的近期涌现开辦了人类与人工智能交互的新时代。以 Chat-GPT 及其后继模型为例，这些精妙的模型在语言理解方面展现了卓越的能力。然而，随着这些 LLM 呈指数级增长，仍有一款关键维度未受充分研究，即这些模型的用户个性化。像 GPT-3 等大型基础模型专注于创建一个服务于广泛任务和用户的通用模型。这种方法强调模型的泛化能力，将用户视为整体而非独立个体。虽然在许多常见应用中实用，但这种模板化方法往往无法满足人类多样性和个体需求的丰富性。为探索此问题，我们引入 PEFT-U 基准：一个用于构建和评估面向用户个性化的 NLP 模型的数据集。\datasetname{} 包含一系列用户中心的任务，其中包含多样且个性化的表达方式，用户对相同输入的偏好可能有所不同。通过 PEFT-U，我们探讨了在多样化用户中心任务的背景下，如何高效地使 LLM 适应用户特定偏好以进行个性化定制的挑战。
引用
@article{arxiv.2407.18078,
title = {PEFT-U: Parameter-Efficient Fine-Tuning for User Personalization},
author = {Christopher Clarke and Yuzhao Heng and Lingjia Tang and Jason Mars},
journal= {arXiv preprint arXiv:2407.18078},
year = {2024}
}