面向判别聚类的广义互信息
机器学习
2022-10-18 v3 人工智能
信息论
机器学习
math.IT
统计方法学
摘要
在过去十年中，深度聚类的成功主要将互信息（MI）作为无监督目标，以不断增强的正则化训练神经网络。尽管为改进而施加的正则化质量已被广泛讨论，MI 作为聚类目标的相关性却鲜受关注。本文首先指出 MI 的最大化并不能产生令人满意的簇，并确定 Kullback-Leibler 散度是此现象的主因。因此，我们通过改变其核心距离对互信息进行推广，引入广义互信息（GEMINI）：一组用于无监督神经网络训练的度量。与 MI 不同，某些 GEMINI 在训练时无需正则化。得益于数据空间中的距离或核，其中部分度量具备几何感知能力。最后，我们指出 GEMINIs 可自动选定相关簇数，这一性质在簇数先验未知的深度聚类场景中少有研究。
引用
@article{arxiv.2210.06300,
title = {Generalised Mutual Information for Discriminative Clustering},
author = {Louis Ohl and Pierre-Alexandre Mattei and Charles Bouveyron and Warith Harchaoui and Mickaël Leclercq and Arnaud Droit and Frederic Precioso},
journal= {arXiv preprint arXiv:2210.06300},
year = {2022}
}
备注
To be published in Neural Information Processing Systems 2022