最小复杂度函数在语义映射无监督学习中的作用
机器学习
2020-01-16 v3
摘要
我们讨论以下学习问题的可行性：仅给定来自两个域的无配对样本，学习一个保留语义的映射。由于缺乏配对样本且未对语义信息作任何定义，该问题似乎是不适定的。具体而言，在典型情况下，似乎可以从每个目标映射构建无限多个替代映射。这种明显的模糊性与近期解决此问题的实证成功形成鲜明对比。我们用最小相对复杂度的具体术语来识别以语义方式对齐两个域的抽象概念。我们建立了一个度量函数组合复杂度的理论框架，以证明期望最小复杂度映射是唯一的是合理的。所使用的复杂度度量与所学习神经网络的深度直接相关，语义对齐的映射则可通过使用不比最小架构大太多的架构进行学习来简单捕获。基于语义对齐可由最小映射捕获这一假设，我们做出了多种预测。这些预测得到了广泛验证。此外，我们提出了一种新的映射算法，并证明其能带来更好的映射结果。
引用
@article{arxiv.1709.00074,
title = {The Role of Minimal Complexity Functions in Unsupervised Learning of Semantic Mappings},
author = {Tomer Galanti and Lior Wolf and Sagie Benaim},
journal= {arXiv preprint arXiv:1709.00074},
year = {2020}
}