基于混合单调分解的文件方言无监督聚类
编程语言
2023-04-19 v1 计算与语言
信息检索
摘要
本文提出一种无监督分类方法，该方法根据一组文件的行为（由消费这些文件的一组程序所产生的消息决定）将其划分为互不重叠的方言。消息的模式可用作特定行为的签名，其依据是某些消息可能共同出现，而另一些则不会。消息模式可用于将文件分类为方言。方言由称为必需消息的消息子集定义。一旦文件以方言及其必需消息为条件，其余消息在统计上独立。借助这一方言定义，我们提出了一种贪心算法，该算法从由文件-消息数据矩阵组成的数据集中推导候选方言，在多种文件格式上展示其性能，并证明其达到最优的条件。我们表明，分析人员需要考虑的方言数量少于不同的消息模式数量，从而降低了研究复杂格式时的认知负荷。
引用
@article{arxiv.2304.09082,
title = {Unsupervised clustering of file dialects according to monotonic decompositions of mixtures},
author = {Michael Robinson and Tate Altman and Denley Lam and Letitia W. Li},
journal= {arXiv preprint arXiv:2304.09082},
year = {2023}
}