STT：用于少样本自适应的软模板微调
计算与语言
2022-07-19 v1 人工智能
摘要
提示微调已成为将预训练模型适配下游任务极为有效的工具。然而，标准基于提示的方法主要考虑下游任务数据充足的情形。其优势能否迁移到少样本场景——即每个下游任务仅有有限数据可用——仍不明确。尽管一些工作已展示少样本设定下提示微调的潜力，但通过搜索离散提示或以有限数据微调软提示的主流方法仍极具挑战。通过大量实证研究，我们发现少样本学习中提示微调与全量微调之间仍存在差距。为弥合该差距，我们提出一种称为软模板微调（Soft Template Tuning, STT）的新提示微调框架。STT 结合人工与自动提示，并将下游分类任务视为掩码语言建模任务。在不同设定下的综合评估表明，STT 可在不引入额外参数的情况下缩小微调与基于提示方法间的差距。值得注意的是，在情感分类任务上它甚至可超越耗时耗资源的微调方法。
引用
@article{arxiv.2207.08408,
title = {STT: Soft Template Tuning for Few-Shot Adaptation},
author = {Ping Yu and Wei Wang and Chunyuan Li and Ruiyi Zhang and Zhanpeng Jin and Changyou Chen},
journal= {arXiv preprint arXiv:2207.08408},
year = {2022}
}