关于元数据与网络社区检测的真实情况
社会与信息网络
2017-09-28 v2 数据分析、统计与概率
物理与社会
机器学习
摘要
在许多科学领域中,普遍需要自动提取复杂系统组件如何相互作用的简化视图或粗粒化描述。这一通用任务被称为网络中的社区检测,类似于在独立向量数据中搜索聚类。通常,评估社区检测算法性能的标准是其发现所谓“真实”社区的能力。这在具有植入社区的人工合成网络中效果良好,因为此类网络的连边是基于那些已知社区显式形成的。然而,真实世界网络中并不存在植入社区。相反,标准做法是将某些观测到的离散值节点属性或元数据视为真实社区。本文表明,元数据并不等同于真实社区,将其如此对待会引发严重的理论和实践问题。我们证明没有任何算法能够唯一地解决社区检测问题,并证明了社区检测的一个通用“没有免费午餐”定理,这意味着不可能存在对所有可能的社区检测任务都最优的算法。然而,社区检测仍然是一个强大的工具,节点元数据也仍有价值,因此仔细探索它们与网络结构的关系可以产生真正有价值的洞见。我们通过引入两种统计技术来说明这一点,这两种技术可以量化一大类模型中元数据与社区结构之间的关系。我们使用人工合成网络和真实世界网络,并针对多种类型的元数据和社区结构,展示了这些技术的应用。
引用
@article{arxiv.1608.05878,
title = {The ground truth about metadata and community detection in networks},
author = {Leto Peel and Daniel B. Larremore and Aaron Clauset},
journal= {arXiv preprint arXiv:1608.05878},
year = {2017}
}
备注
27 pages, 10 figures, 11 tables