模式识别的可达速率
信息论
2007-07-13 v1 计算机视觉与模式识别
math.IT
摘要
生物和机器模式识别系统面临一个共同挑战：给定关于未知对象的感官数据，通过将感官数据与存储在记忆中的内部表示库进行比较来对对象进行分类。在许多感兴趣的情况下，待分类的模式数量和原始数据的丰富性迫使识别系统在内部将记忆和感官信息压缩为紧凑格式。然而，这些表示必须保留足够的信息，以容纳环境的可变性和复杂性，否则识别将不可靠。因此，在资源受限的情况下，存在一种内在的权衡：在给定资源下，识别系统可靠运行的环境复杂度。本文描述了一个受资源约束的模式识别系统的通用数学模型，并展示了上述资源-复杂度权衡可如何用三个速率来表征，这些速率涉及用于表示记忆和感官数据的可用位数以及给定统计环境中模式的数量。我们证明了支配可达速率的信息论界限，并且通过分析模式数据为二进制或高斯情况来说明理论。
引用
@article{arxiv.cs/0509022,
title = {Achievable Rates for Pattern Recognition},
author = {M. Brandon Westover and Joseph A. O'Sullivan},
journal= {arXiv preprint arXiv:cs/0509022},
year = {2007}
}