文本引导的替代图像聚类
计算机视觉与模式识别
2024-06-28 v1 机器学习
摘要
传统图像聚类技术仅在视觉数据中找到单一分组，尤其无法明确定义多种聚类类型。本工作探索大型视觉语言模型以促进替代图像聚类的潜力。我们提出文本引导的替代图像共识聚类（TGAICC），一种新方法利用通过提示指定的用户兴趣引导发现多样聚类。为实现此目标，它为每个提示生成一个聚类，使用层次聚类对其进行分组，然后通过共识聚类对其进行聚合。TGAICC 在四个替代图像聚类基准数据集上优于图像和文本基线方法。此外，利用基于计数的词统计，我们能够获得替代聚类的文本解释。总之，我们的研究说明当代大型视觉语言模型如何转化为解释性数据分析，实现洞见、可定制和多样化图像聚类的生成。
引用
@article{arxiv.2406.18589,
title = {Text-Guided Alternative Image Clustering},
author = {Andreas Stephan and Lukas Miklautz and Collin Leiber and Pedro Henrique Luz de Araujo and Dominik Répás and Claudia Plant and Benjamin Roth},
journal= {arXiv preprint arXiv:2406.18589},
year = {2024}
}