以智能 MoPs 扫除异质性：面向 LLM 任务适配的提示混合
计算与语言
2025-01-22 v3 人工智能
摘要
大语言模型（LLMs）具备开箱即用解决多种任务的能力，如文本摘要与数学问题，但它们通常训练时仅考虑单一任务。由于高昂的计算成本，当前趋势是使用提示指令微调来更好地将整体化预训练 LLM 调整至新的——但往往是孤立的——下游任务。因此，如何扩展提示微调以同时处理异质任务与数据分布，是一个广泛开放的问题。为弥补此差距，我们建议使用提示混合（Mixture of Prompts，或 MoPs），并配以智能门控功能：后者——其设计是本文贡献之一——可识别嵌入于不同提示组中的相关技能，并基于目标任务动态分配组合专家（即提示集合）。此外，MoPs 在经验上对为效率起见所采用的任何模型压缩技术，以及指令数据来源与任务构成均不敏感。实践中，MoPs 可同时缓解多任务、多源场景（如跨源的任务与数据异质性）中的提示训练“干扰”，以及模型近似可能带来的后果。值得强调的是，在联邦场景下，与基线相比，MoPs 将最终困惑度降低了约 至约 ；在集中式场景下，降低了约 至约 。
引用
@article{arxiv.2310.02842,
title = {Sweeping Heterogeneity with Smart MoPs: Mixture of Prompts for LLM Task Adaptation},
author = {Chen Dun and Mirian Hipolito Garcia and Guoqing Zheng and Ahmed Hassan Awadallah and Anastasios Kyrillidis and Robert Sim},
journal= {arXiv preprint arXiv:2310.02842},
year = {2025}
}