广义互信息：一种判别聚类的框架
机器学习
2023-09-07 v1 人工智能
信息论
机器学习
math.IT
统计方法学
摘要
近十年，深度聚类的成功主要将互信息（MI）作为无监督目标，以渐增的正则化训练神经网络。尽管为改进而正则化的质量已被广泛讨论，MI 作为聚类目标的相关性却鲜受关注。本文首先指出 MI 的最大化不会导致满意的簇，确认 Kullback-Leibler 散度为该行为主因。因而我们通过改变其核心距离推广互信息，引入广义互信息（GEMINI）：一组用于无监督神经网络训练的度量。与 MI 不同，某些 GEMINI 训练时无需正则化，因其借助数据空间中的距离或核而具几何感知。最后，我们强调 GEMINI 可自动选定相关簇数，此性质在簇数先验未知的深度判别聚类语境中少有研究。
引用
@article{arxiv.2309.02858,
title = {Generalised Mutual Information: a Framework for Discriminative Clustering},
author = {Louis Ohl and Pierre-Alexandre Mattei and Charles Bouveyron and Warith Harchaoui and Mickaël Leclercq and Arnaud Droit and Frédéric Precioso},
journal= {arXiv preprint arXiv:2309.02858},
year = {2023}
}
备注
Submitted for review at the IEEE Transactions on Pattern Analysis and Machine Intelligence. This article is an extension of an original NeurIPS 2022 article [arXiv:2210.06300]