从信息投影到方差缩减：平衡的优势
机器学习
2025-02-12 v2 机器学习
统计理论
统计理论
摘要
机器学习和人工智能中的基础模型中存在多种形式的数据在多个模态和来源之间的平衡，例如在CLIP和DINO中。我们展示，跨模态和来源的数据平衡实际上提供了一种意想不到的好处：方差缩减。我们提出了一个非渐近统计界，量化了这种方差缩减效应并将其与马尔可夫算子的特征值衰减相关联。此外，我们描述了如何从我们的方差缩减观点来更好地理解、甚至改进对对比多模态学习和自监督聚类中各种数据平衡形式。
引用
@article{arxiv.2408.15065,
title = {The Benefits of Balance: From Information Projections to Variance Reduction},
author = {Lang Liu and Ronak Mehta and Soumik Pal and Zaid Harchaoui},
journal= {arXiv preprint arXiv:2408.15065},
year = {2025}
}