贪心合并降级算法具有最优幂律

考虑一个具有给定输入字母表大小和给定输入分布的信道。我们的目标是将其降级或升级为一个至多有 $L$ 个输出字母的信道。本文包含四个主要结果。第一个结果（本文标题即由此而来）处理所谓的“贪心合并”算法。我们推导了输入与输出之间互信息减少量的上界。该上界在一个常数因子范围内与算法无关的下界相符。因此，我们确立了贪心合并在幂律意义上是最优的。其他主要结果涉及升级操作。第二个结果表明，先前被证明在降级中是“困难”的某一特定信道序列，在升级的背景下同样表现出相同的困难性。即，假设给定这样一个信道及其对应的输入分布。如果我们将其升级（降级）为一个具有 $L$ 个输出字母的新信道，输入与输出之间的互信息会产生增加（减少）。我们表明，先前针对降级情况推导的互信息减少量的界，同样也是升级情况下互信息增加量的下界。第三个结果是针对二进制输入情况下最优升级的高效算法。即，给定一个信道和输入分布，我们必须找到一个具有 $L$ 个输出字母的升级信道，使得互信息的增加量最小。我们给出了此类信道的简单刻画，从而导出了一个高效算法。第四个结果是针对二进制输入下升级情况中第一个结果的类似结论。即，我们首先针对第三个结果所考虑的设定提出一个次优算法。通过分析该算法，我们表明所产生的互信息增加量在第二个结果中推导的下界的一个常数因子范围内。