理解多模态对比学习中数据过滤收益

现代多模态表征学习的成功依赖于互联网规模的数据集。由于大量原始网络数据的质量较低，数据 curated 已成为训练管道中的关键步骤。使用训练好的模型（即教师式过滤）进行过滤已成为一种成功解决方案，利用预训练模型计算质量分数来解释教师式过滤的经验成功。在标准双模态数据生成模型下， characterize 了过滤后对比学习的性能。设定 $\eta\in(0,1]$ 为 n 个配对样本中正确匹配模态的比例，我们利用线性对比学习设置显示数据过滤的可 provable 利益：$(i)$ 在无过滤情况下，误差被上、下界为 $\frac{1}{\eta \sqrt{n}}$，$(ii)$ 在教师式过滤情况下，误差在大 $\eta$ 范围内上界为 $\frac{1}{\sqrt{\eta n}}$，在小 $\eta$ 范围内上界为 $\frac{1}{\sqrt{n}}$。