基于注意力 optimal transport 的可靠伪标签生成用于短文本聚类
机器学习
2026-03-16 v3 统计计算
机器学习
摘要
短文本聚类近年来在数据挖掘领域受到广泛关注。然而，短文本所包含的有价值信息有限，往往导致判别性表征性不足，增加聚类难度。为此，本文提出一种新颖的短文本聚类框架，称为可靠伪标签通过 optimal transport 结合注意力机制进行短文本聚类（POTA）。具体而言，POTA首先实现基于实例的注意力机制，以捕获样本之间的语义关系，将其作为语义一致性正则化项纳入optimal transport问题。通过求解该OT问题，可获得兼顾样本间语义一致性和样本到簇全局结构信息的可靠伪标签。此外，所提出的OT可自适应估计簇分布，使POTA适用于不同程度不平衡的数据集。随后，利用伪标签指导对比学习生成判别性表征，实现高效聚类。大量实验表明POTA优于当前方法。代码已公开：https://github.com/YZH0905/POTA-STC/tree/main。
引用
@article{arxiv.2501.15194,
title = {Reliable Pseudo-labeling via Optimal Transport with Attention for Short Text Clustering},
author = {Zhihao Yao},
journal= {arXiv preprint arXiv:2501.15194},
year = {2026}
}
备注
arXiv admin comment: This version has been removed by arXiv administrators as the submitter did not have the rights to agree to the license at the time of submission