基于自编码器的表示学习近期进展
机器学习
2018-12-13 v1 计算机视觉与模式识别
机器学习
摘要
以极少或无监督学习有用表示是人工智能中的关键挑战。我们针对基于自编码器的模型，对表示学习的近期进展进行了深入综述。为组织这些结果，我们利用了被认为对下游任务有用的元先验，例如解耦与特征的分层组织。特别地，我们揭示了强制此类性质的三种主要机制，即 (i) 正则化（近似或聚合）后验分布，(ii) 分解编码与解码分布，或 (iii) 引入结构化先验分布。尽管已有一些 promising 结果，隐式或显式监督仍是关键赋能因素，且当前所有方法都使用强归纳偏置与建模假设。最后，我们通过率失真理论的视角对基于自编码器的表示学习进行分析，并识别出关于下游任务的先验知识量与表示对该任务的有用性之间的明确权衡。
引用
@article{arxiv.1812.05069,
title = {Recent Advances in Autoencoder-Based Representation Learning},
author = {Michael Tschannen and Olivier Bachem and Mario Lucic},
journal= {arXiv preprint arXiv:1812.05069},
year = {2018}
}
备注
Presented at the third workshop on Bayesian Deep Learning (NeurIPS 2018)