面向推荐的高效多任务提示微调
信息检索
2024-09-02 v1
摘要
随着业务场景的扩展，真实推荐系统在处理多任务学习框架中不断涌现的新任务时面临挑战。本文旨在提升多任务推荐在处理新任务时的泛化能力。我们发现，在大多数多任务学习方法中，联合训练会提升新任务的性能，但往往对现有任务产生负面影响。此外，这种引入新任务的重新训练机制增加了训练成本，限制了多任务推荐模型的泛化能力。基于此考虑，我们旨在设计不同任务间合适的共享机制，同时在新任务学习中保持联合优化的效率。为解决多任务推荐系统中的任务不相关与训练效率问题，我们提出了一种新颖的两阶段提示微调多任务学习 (MTL) 框架 (MPT-Rec)。具体而言，我们在多任务预训练阶段解耦任务特定与任务共享信息，随后利用任务感知提示将其他任务的知识有效迁移至新任务。通过冻结预训练任务中的参数，MPT-Rec 解决了新任务可能带来的负面影响，并大幅降低了训练成本。在三个真实世界数据集上的广泛实验表明了所提出的多任务学习框架的有效性。与 SOTA 多任务学习方法相比，MPT-Rec 取得了最佳性能。此外，在新任务学习中，它在保持可比模型性能的同时，大幅提升了训练效率（即仅需全训练方式 10% 的参数）。
引用
@article{arxiv.2408.17214,
title = {Efficient Multi-task Prompt Tuning for Recommendation},
author = {Ting Bai and Le Huang and Yue Yu and Cheng Yang and Cheng Hou and Zhe Zhao and Chuan Shi},
journal= {arXiv preprint arXiv:2408.17214},
year = {2024}
}