深度参考先验：预训练模型的最佳方式是什么？

利用额外数据——无论是来自同一任务的无标注数据，还是来自相关任务的标注数据——来学习给定任务的最佳方式是什么？本文借助参考先验理论对该问题进行形式化。参考先验是客观的、无信息的贝叶斯先验，可最大化任务与模型权重之间的互信息。此类先验使任务能最大程度地影响贝叶斯后验，例如，参考先验依赖于可用于学习任务样本的数量，且在样本量极小时，先验在假设空间中对低复杂度模型赋予更多概率质量。本文首次展示了参考先验在中等规模深度网络与基于图像数据上的应用。我们发展了参考先验的推广形式，并展示其在两个问题上的应用。首先，通过使用无标注数据计算参考先验，我们开发了在每类仅极少样本下仍有效的新型贝叶斯半监督学习方法。其次，通过使用源任务的标注数据计算参考先验，我们开发了一种用于迁移学习的新预训练方法，使目标任务数据能最大程度地影响贝叶斯后验。这些方法的经验验证在图像分类数据集上进行。代码见 https://github.com/grasp-lyrl/deep_reference_priors。