从软提示到硬提示的 LLM 翻译学习

Pitipat Kongsomjit; Suryansh Goyal; Jacob Whitehill

从软提示到硬提示的 LLM 翻译学习

计算与语言 2026-05-28 v1 机器学习

作者: Pitipat Kongsomjit , Suryansh Goyal , Jacob Whitehill

摘要

软提示调谐是一种高效的参数节省方法，用于适应 LLM 以解决特定任务，但缺乏可解释性。基于近期对软提示解释工作（Ramati 等，2024）的研究，我们探索了训练一个专门的软提示以适应自然语言翻译模型，从而获得更高的翻译质量。特别是在多个数据集上的定量与定性比较中，我们证明了我们的翻译器产生的译文流畅、准确，优于现有的无训练方法如 InSPEcT。除了推进可解释性外，我们的工作表明，针对小型开源模型优化的软提示可被翻译为可移植文本提示，当部署在更大规模的闭源 API 模型上时，可超过原始软提示的性能，在某些情况下甚至优于few-shot学习。

关键词

软提示调谐自然语言翻译可解释性 LLM InSPEcT

引用

@article{arxiv.2605.27642,
  title  = {Learning to Translate from Soft to Hard LLM Prompts},
  author = {Pitipat Kongsomjit and Suryansh Goyal and Jacob Whitehill},
  journal= {arXiv preprint arXiv:2605.27642},
  year   = {2026}
}

备注

8 Pages, 11 tables, 4 Figures

从软提示到硬提示的 LLM 翻译学习

摘要

关键词

引用

备注

相关论文