SynBench：基于合成数据的预训练表示任务无关基准测试
机器学习
2022-10-10 v2
摘要
近期在下游任务上微调大规模在广泛数据上预训练模型取得的成功，引发了深度学习的显著范式转变：从以任务为中心的模型设计转向任务无关的表示学习与任务特定的微调。由于预训练模型的表示被用作不同下游任务的基础，本文提出一个新的任务无关框架 SynBench，利用合成数据度量预训练表示的质量。我们通过类条件高斯混合在理论上导出的鲁棒性-准确率权衡建立参考。给定预训练模型，从高斯混合合成的数据的表示被用于与我们的参考比较以推断质量。通过比较原始数据与其表示之间的曲线下面积之比，SynBench 为鲁棒性-准确率性能基准测试提供可量化分数。我们的框架适用于接受连续数据输入的广泛预训练模型，且独立于下游任务与数据集。使用若干预训练视觉 transformer 模型评估，实验结果表明我们的 SynBench 分数与预训练模型在下游任务微调时的实际线性探测性能良好吻合。此外，我们的框架可用于指导预训练表示上鲁棒线性探测的设计，以缓解下游任务中的鲁棒性-准确率权衡。
引用
@article{arxiv.2210.02989,
title = {SynBench: Task-Agnostic Benchmarking of Pretrained Representations using Synthetic Data},
author = {Ching-Yun Ko and Pin-Yu Chen and Jeet Mohapatra and Payel Das and Luca Daniel},
journal= {arXiv preprint arXiv:2210.02989},
year = {2022}
}