法诺不等式及其在统计估计中应用的导引

信息论在发展与算法无关的不可能性结果中发挥着不可或缺的作用，无论对于通信问题还是统计与机器学习等看似不同的领域皆然。尽管为此已提出众多信息论工具，最古老的那个仍可谓最通用且最广泛使用的：法诺不等式。在本章中，我们在统计估计背景下综述法诺不等式及其变体，采用一个涵盖广泛具体问题的通用框架。我们呈现了通过此方法建立不可能性结果所用的多种关键工具与技术，并给出涵盖群体检测、图模型选择、稀疏线性回归、密度估计与凸优化的代表性示例。