通过模块化提示组合优化的多任务少样本迁移学习
人工智能
2025-09-12 v2 计算与语言
摘要
近年来，多任务提示调谐因其内在的模块性和潜在的跨任务提升参数效率迁移学习的潜力而受到广泛关注。本文旨在分析和改进多个任务的性能，通过在多任务设置中促进其相应提示之间的知识迁移。我们的方法将每个目标任务的提示分解为共享提示（源提示）和任务特定提示（私有提示）的组合。在训练期间，源提示进行微调并与私有提示集成，以驱动每个任务的目标提示。我们提出并比较了多种构建目标提示的方法，分析了源提示和私有提示在每种方法中的作用。我们研究它们对任务性能的贡献，并基于这些见解提供灵活、可调整的配置以优化性能。我们的实证结果清晰展示了相对于传统提示调谐和相关工作的准确率和鲁棒性改进。值得注意的是，我们的结果在少样本设置下显著优于该领域的其他方法，在多个任务上表现突出，包括GLUE基准等任务。通过显著减少训练数据量，实现了这一成就，使我们的方法在少样本设置下具有前景。
引用
@article{arxiv.2408.13227,
title = {Enhancing Few-Shot Transfer Learning with Optimized Multi-Task Prompt Tuning through Modular Prompt Composition},
author = {Ahmad Pouramini and Hesham Faili},
journal= {arXiv preprint arXiv:2408.13227},
year = {2025}
}