利用张量核减少深度聚类中目标函数失配
机器学习
2024-02-14 v3 计算机视觉与模式识别
机器学习
摘要
目标函数失配（OFM）发生在优化某一目标对另一目标的优化产生负面影响时。本文研究深度聚类中的 OFM，发现流行的基于自编码器的深度聚类方法会导致聚类性能下降，并在重构目标与聚类目标之间产生显著的 OFM。为在保持辅助目标结构保持特性的同时减少失配，我们提出一组用于深度聚类的新的辅助目标，称为无监督伴随目标（UCOs）。UCOs 依赖核函数在网络的中间表示上构造聚类目标。一般而言，中间表示除特征维外还可包含其他维度，例如空间或时间维。因此我们主张，将表示向量化并应用向量核的朴素方法对此类表示是次优的，因其忽略了其他维度所含信息。为解决该缺陷，我们为 UCOs 配备利用结构的张量核，专为任意阶张量设计。UCOs 因而可适配广泛类别的网络架构。我们还提出一种基于回归的 OFM 新度量，使我们能准确量化训练期间观测到的 OFM 量。实验表明，与类似的基于自编码器的模型相比，UCOs 与主聚类目标间的 OFM 更低。此外，我们说明 UCOs 提升了模型的聚类性能，而基于自编码器的方法则相反。我们的实验代码见 https://github.com/danieltrosten/tk-uco。
引用
@article{arxiv.2001.07026,
title = {Leveraging tensor kernels to reduce objective function mismatch in deep clustering},
author = {Daniel J. Trosten and Sigurd Løkse and Robert Jenssen and Michael Kampffmeyer},
journal= {arXiv preprint arXiv:2001.07026},
year = {2024}
}