Equi-Tuning：预训练模型的群等变微调
机器学习
2023-02-07 v2 计算与语言
摘要
我们提出 equi-tuning，一种新颖的微调方法，它将（可能非等变的）预训练模型转化为群等变模型，同时在预训练模型与等变模型的特征表示之间产生最小的 损失。大型预训练模型可被 equi-tuned 至不同群，以满足各类下游任务需求。Equi-tuned 模型同时受益于作为归纳偏置的群等变性以及来自预训练模型的语义先验。我们给出了 equi-tuning 在三项不同任务上的应用：图像分类、语言中的组合泛化，以及自然语言生成（NLG）中的公平性。我们还为 NLG 中的公平性给出了一种新颖的群论定义，并通过与 NLG 中标准经验公平性方法的对比测试展示了该定义的有效性。我们使用多种预训练模型给出了 equi-tuning 的实验结果：用于图像分类的 Alexnet、Resnet、VGG 和 Densenet；用于组合泛化的 RNN、GRU 和 LSTM；以及用于 NLG 公平性的 GPT2。我们在所有考虑任务的基准数据集上测试了这些模型，以表明所提方法的通用性与有效性。
引用
@article{arxiv.2210.06475,
title = {Equi-Tuning: Group Equivariant Fine-Tuning of Pretrained Models},
author = {Sourya Basu and Prasanna Sattigeri and Karthikeyan Natesan Ramamurthy and Vijil Chenthamarakshan and Kush R. Varshney and Lav R. Varshney and Payel Das},
journal= {arXiv preprint arXiv:2210.06475},
year = {2023}
}