学习用于统计推断的相关特征
机器学习
2020-03-25 v4 量子物理
机器学习
摘要
给定数据的两个视角，我们考虑寻找其中一个视角中可从另一视角最忠实推断出的特征的问题。我们发现这些特征也是深度典型相关分析（DCCA）意义下最相关的变量。此外，我们证明这些变量可用于构造所隐含联合概率分布的非参数表示，该表示可视为量子态 Schmidt 分解的经典版本。此表示可用于计算一个数据视角在另一视角条件下的函数期望，例如贝叶斯估计量及其标准差。我们使用对遮挡 MNIST 图像的推断测试了该方法，并表明我们的表示包含多个模态。令人惊讶的是，当应用于监督学习（其中一个数据集由标签组成）时，与交叉熵目标相比，该方法自动提供了正则化与更快的收敛。我们还探索使用该方法发现单一数据集的显著独立变量。
引用
@article{arxiv.1904.10387,
title = {Learning relevant features for statistical inference},
author = {Cédric Bény},
journal= {arXiv preprint arXiv:1904.10387},
year = {2020}
}
备注
Changes resulting from ICLR2020 submission and review. The presentation now accounts for the close connection to previous work on deep CCA