零样本连续提示迁移：跨语言模型泛化任务语义
计算与语言
2024-07-15 v2 人工智能
摘要
自然语言处理（NLP）中的提示微调已成为使大型语言模型适配特定任务日益流行的方法。然而，这些提示（尤其是连续提示）在不同模型间的可迁移性仍具挑战。本工作中，我们提出一种零样本连续提示迁移方法，将源提示编码至相对空间，并搜索相应目标提示以迁移至目标模型。实验结果证实了方法的有效性，表明连续提示中的“任务语义”可跨多种语言模型泛化。此外，我们发现结合多个源模型的“任务语义”可进一步增强迁移的泛化能力。
引用
@article{arxiv.2310.01691,
title = {Zero-Shot Continuous Prompt Transfer: Generalizing Task Semantics Across Language Models},
author = {Zijun Wu and Yongkang Wu and Lili Mou},
journal= {arXiv preprint arXiv:2310.01691},
year = {2024}
}
备注
Accepted by ICLR 2024