用于测试、估计和混合模型的最大互信息与最大似然的语义信息方法
信息论
2017-06-27 v1 math.IT
摘要
求解所有可能的 Shannon 信道或不确定假设选择规则的最大互信息（MMI）或最大似然（ML）非常困难，因此我们不得不使用迭代方法。根据 Chenguang Lu (1993) 提出的语义互信息（SMI）和 R(G) 函数（其中 R(G) 是信息率失真函数 R(D) 的扩展，G 是 SMI 的下限），我们可以得到一种用于求解测试、估计和混合模型的 MMI 和 ML 的新迭代算法。SMI 由平均对数归一化似然定义。似然函数通过语义贝叶斯推断由真值函数和先验生成。一组真值函数构成一个语义信道。让语义信道与 Shannon 信道相互匹配并迭代，我们可以得到使 Shannon 互信息和平均对数似然最大化的 Shannon 信道。这种迭代算法被称为信道匹配算法或 CM 算法。其收敛性可以通过 R(G) 函数直观地解释和证明。针对测试、估计和混合模型的几个迭代示例表明，CM 算法的计算非常简单（可以在 excel 文件中演示）。对于大多数随机示例，收敛的迭代次数接近 5 次。对于混合模型，CM 算法类似于 EM 算法；然而，与标准 EM 算法相比，CM 算法具有更好的收敛性和更多的潜在应用。
引用
@article{arxiv.1706.07918,
title = {The Semantic Information Method for Maximum Mutual Information and Maximum Likelihood of Tests, Estimations, and Mixture Models},
author = {Chenguang Lu},
journal= {arXiv preprint arXiv:1706.07918},
year = {2017}
}
备注
21 pages, 10 figures