预训练编码器即你所需要的一切
机器学习
2021-06-10 v1
摘要
数据效率与泛化是深度学习与深度强化学习中的关键挑战，因为许多模型都是在大规模、领域特定且标注成本高昂的数据集上训练的。在大规模未筛选数据集上自监督训练的模型已显示出向多样化场景的成功迁移。我们研究了在 Atari 中使用预训练图像表征与时空注意力进行状态表征学习。我们还探索了使用自监督技术（即对比预测编码、时空对比学习与数据增广）对预训练表征进行微调。我们的结果表明，预训练表征与在领域特定数据上训练的最先进自监督方法表现相当。因此，预训练表征产生了数据与计算高效的状态表征。https://github.com/PAL-ML/PEARL_v1
引用
@article{arxiv.2106.05139,
title = {Pretrained Encoders are All You Need},
author = {Mina Khan and P Srivatsa and Advait Rane and Shriram Chenniappa and Rishabh Anand and Sherjil Ozair and Pattie Maes},
journal= {arXiv preprint arXiv:2106.05139},
year = {2021}
}