点菜式提示调优（APT）：通过可组合提示融合异构数据
机器学习
2023-02-17 v1 人工智能
计算与语言
计算机视觉与模式识别
摘要
我们提出点菜式提示调优（À-la-carte Prompt Tuning，APT），一种基于 transformer 的方案，用于在异构数据上调优提示，使其可在推理时任意组合。各个提示可孤立训练，可能在不同设备上、不同时间、以及不同分布或领域下进行。此外，每个提示仅包含其在训练期间所接触数据子集的信息。在推理过程中，可基于对任意数据源的选择来组装模型，我们称之为“点菜式学习”。点菜式学习能够构建特定于每位用户个体访问权限与偏好的定制模型。我们可通过简单地添加或移除相应提示，而无需从头重训，来为模型增删信息。我们证明，点菜式构建的模型在各自源并集上训练的模型精度 以内，且训练与推理时间成本相当。在持续学习基准 Split CIFAR-100 与 CORe50 上，我们取得了最先进的性能。
引用
@article{arxiv.2302.07994,
title = {\`A-la-carte Prompt Tuning (APT): Combining Distinct Data Via Composable Prompting},
author = {Benjamin Bowman and Alessandro Achille and Luca Zancato and Matthew Trager and Pramuditha Perera and Giovanni Paolini and Stefano Soatto},
journal= {arXiv preprint arXiv:2302.07994},
year = {2023}
}
备注
13 pages, 4 figures, 8 tables