通过最小化超球面能量实现数据高效学习
机器学习
2022-07-19 v2
摘要
如今，大规模数据上的深度学习占主导地位。前所未有的数据规模可以说是深度学习成功最重要的驱动力之一。然而，仍存在数据或标签收集极其昂贵的场景，例如医学影像和机器人学。为填补这一空白，本文考虑利用少量代表性数据从零开始进行数据高效学习的问题。首先，我们通过球流形的同胚管上的主动学习来刻画该问题。这自然生成了可行的假设类。借助同调拓扑性质，我们确认了一个重要联系——寻找管流形等价于在物理几何中最小化超球面能量（MHE）。受此联系启发，我们提出了一种基于 MHE 的主动学习（MHEAL）算法，并为 MHEAL 提供了涵盖收敛性与泛化分析的全面理论保证。最后，我们在数据高效学习的广泛应用上展示了 MHEAL 的实证性能，包括深度聚类、分布匹配、版本空间采样和深度主动学习。
引用
@article{arxiv.2206.15204,
title = {Data-Efficient Learning via Minimizing Hyperspherical Energy},
author = {Xiaofeng Cao and Weiyang Liu and Ivor W. Tsang},
journal= {arXiv preprint arXiv:2206.15204},
year = {2022}
}