最小信息损失划分的快速精确搜索

在分析诸如神经系统等多组分复杂系统时，识别具有相似功能的单元组有助于理解系统的底层结构。为找到这样的分组，评估系统各单元的可分离程度十分有用。可分离性或不可分离性可通过量化以下问题来评估：若将系统划分为子系统并假设移除子系统间的相互作用，将会损失多少信息。两个独立子系统组成的系统完全可分离，无任何信息损失；而相互作用强烈的子系统组成的系统则无法在不造成大量信息损失的情况下分离。在系统的所有可能划分中，使信息损失最小的划分，即最小信息划分（MIP），可被视为刻画系统底层结构的最优划分。尽管 MIP 将揭示神经系统的新颖特性，但由于可能划分的组合爆炸，对 MIP 进行穷举搜索在数值上是不可行的。在此，我们通过利用信息损失度量的次模性，提出了一种计算高效的搜索方法，以在所有可能划分中精确识别 MIP。互信息就是这样一种次模信息损失函数，并且是衡量成对随机变量集之间统计依赖程度的自然选择。通过使用互信息作为损失函数，我们证明对于相当大规模的系统，MIP 搜索可以在实际可行的计算时间内完成。我们还展示了 MIP 搜索能够检测非线性振子网络中的底层全局结构。