ITENE：内禀转移熵神经估计器
信息论
2020-01-09 v2 机器学习
math.IT
摘要
量化信息流的方向性有助于理解并可能控制许多复杂系统（如交通、社交、神经或基因调控网络）的运行。标准转移熵 (TE) 度量遵循 Granger 因果原理，通过度量源信号 的过去状态与目标信号 的未来状态之间的互信息 (MI)，同时以 的过去状态为条件。因此，TE 量化了在预测目标序列 时，除 的过去外还可利用 的过去样本所能带来的、以对数损失度量的预测改进。然而，通过对 的过去作条件化，TE 也度量了通过同时观测 与 的过去（而非仅 的过去）可协同提取的信息。基于私钥协商表述，内禀转移熵 (ITE) 旨在剔除此类协同信息，以量化 在独立于 过去的情况下对 的个体化预测程度。本文提出一种受近期互信息神经估计 (MINE) 启发的 ITE 估计器。该估计器基于 KL 散度的变分界、两样本神经网络分类器以及蒙特卡洛梯度的路径wise估计器。
引用
@article{arxiv.1912.07277,
title = {ITENE: Intrinsic Transfer Entropy Neural Estimator},
author = {Jingjing Zhang and Osvaldo Simeone and Zoran Cvetkovic and Eugenio Abela and Mark Richardson},
journal= {arXiv preprint arXiv:1912.07277},
year = {2020}
}