论布尔阈值自编码器的压缩能力

自编码器是一种分层神经网络，其结构可视为由一个编码器和一个解码器组成：编码器将维度为 $D$ 的输入向量压缩为低维 $d$ 的向量，解码器则将低维向量转换回原始输入向量（或与之非常相似的向量）。在本文中，我们通过研究确保给定一组不同输入二值向量中的每个向量都被转换回其原始状态所需的节点数和层数，来探索布尔阈值网络自编码器的压缩能力。我们证明，对于任意 $n$ 个不同向量的集合，存在一个具有最小可能中间层（即其大小为 $n$ 的对数级）的七层自编码器，但也存在一个包含 $n$ 个向量的集合，对于该集合不存在具有相同大小中间层的三层自编码器。此外，我们提出了一种折中方案：如果允许中间层显著增大，则存在五层自编码器。我们还单独研究了编码过程。我们获得的结果表明，解码构成了自编码的瓶颈。例如，总是存在一个三层布尔阈值编码器，能够将 $n$ 个向量压缩至降为 $n$ 的对数的两倍的维度。