从离散提示嵌入的线性组合生成连续提示
计算与语言
2024-02-15 v2
摘要
连续提示的不稳定质量凸显了其可解释性的重要性，因为在训练后会出现意想不到和不可预测的行为，尤其是在大语言模型自动化人员敏感任务（如简历筛选）的背景下。本文提出了一种通过离散提示嵌入构建连续提示的新方法，并评估了连续提示可解释性和推理准确性的改进。对于一组手动设计的离散提示 ，我们将其分词并嵌入为张量形式，训练一个模型来预测权重，使得这些提示的线性组合对应于自然语言理解任务上的更高性能。
引用
@article{arxiv.2312.10323,
title = {Continuous Prompt Generation from Linear Combination of Discrete Prompt Embeddings},
author = {Pascal Passigan and Kidus Yohannes and Joshua Pereira},
journal= {arXiv preprint arXiv:2312.10323},
year = {2024}
}