零样预测的泛化理论

机器学习与人工智能中的泛化现代范式由于对训练任务无关的基础模型进行预训练而成，这些模型通常使用自监督学习和多模态对比学习获得。 resulting representations can be used for prediction on a downstream task for which no labeled data is available. 我们提出了一种更深入理解该方法的理论框架，称为零样预测。我们确定了零样预测旨在学习的目标量，或在间接情况下学习的量，以及使其泛化能力得以实现的关键条件独立关系。