通过赢家票有效提示小型语言模型用于跨语言任务
计算与语言
2024-04-02 v1
摘要
当前的软提示方法在应用于小型模型（参数少于十亿）时 yield 有限的性能。深度提示调谈即为增强效果而在每个层中添加参数，为提示小型模型提供了一种解决方案，尽管需要仔细设计的实现。在本文中，我们引入 Lottery Ticket Prompt-learning（LTP）框架，将赢家票与软提示集成。LTP 提供更简单的实现，仅需一次执行。我们在跨语言任务上演示了 LTP，其中先前的工作依赖外部工具，如人类设计的多语言模板和双语词典，这在资源有限的情形下可能不可行。具体而言，我们选择在使用遮盖语言模型目标函数进行微调时改变最多的参数的子集。然后，我们将软提示添加到原始预训练语言模型中，仅更新所选参数以及与提示相关的参数以适应下游任务。我们在跨语言任务上验证了 LTP 框架的有效性，具体针对资源有限的语言。我们的方法仅更新原始参数的 20% 即可超过基准。
引用
@article{arxiv.2404.01242,
title = {Effectively Prompting Small-sized Language Models for Cross-lingual Tasks via Winning Tickets},
author = {Mingqi Li and Feng Luo},
journal= {arXiv preprint arXiv:2404.01242},
year = {2024}
}