主比特分析：基于Schur凹损失的自编码
信息论
2021-06-09 v2 计算机视觉与模式识别
机器学习
math.IT
摘要
我们考虑一种线性自编码器，其中潜变量被量化或受噪声损坏，且约束在潜变量方差集合上是Schur凹的。尽管为该设置寻找最优编码器/解码器对是一个非凸优化问题，我们证明将源分解为其主成分是最优的。如果约束是严格Schur凹的且经验协方差矩阵仅有单重特征值，则任何最优编码器/解码器都必须以这种方式分解源。作为一个应用，我们考虑一个严格Schur凹约束，其在固定速率编码下估计表示潜变量所需的比特数，该设置我们称为\emph{主比特分析(PBA)}。这产生了一种实用的、通用的固定速率压缩器，其优于现有算法。作为第二个应用，我们证明一个基于自编码器的典型变速率压缩器保证将源分解为其主成分。
引用
@article{arxiv.2106.02796,
title = {Principal Bit Analysis: Autoencoding with Schur-Concave Loss},
author = {Sourbh Bhadane and Aaron B. Wagner and Jayadev Acharya},
journal= {arXiv preprint arXiv:2106.02796},
year = {2021}
}
备注
ICML 2021