投影子网络规模自适应
机器学习
2023-01-30 v1
摘要
大型模型支持强大的零样本与少样本能力。然而，在新任务上更新这些模型会破坏其在先前已见任务及零/少样本未见任务上的性能。我们的工作探索如何更新零/少样本学习器，使其能在先前任务的已见/未见任务以及新任务上保持性能。通过将基于梯度的元学习器的参数更新操控为投影的任务特定子网络，我们展示了大型模型在在线设定中保留已见与零/少样本任务性能的改进。
引用
@article{arxiv.2301.11487,
title = {Projected Subnetworks Scale Adaptation},
author = {Siddhartha Datta and Nigel Shadbolt},
journal= {arXiv preprint arXiv:2301.11487},
year = {2023}
}