马尔可夫-利普希茨深度学习
机器学习
2020-10-01 v5 机器学习
摘要
我们提出了一种称为马尔可夫-利普希茨深度学习（MLDL）的新框架，以解决基于流形的表示学习与流形数据生成中，基于向量的神经网络变换因坍缩、扭曲或交叉所导致的几何退化问题。一种称为局部等距平滑（LIS）的先验约束被跨层施加并编码为马尔可夫随机场（MRF）-吉布斯分布。这带来了以局部几何畸变和局部双利普希茨连续性度量的局部几何保持与鲁棒性的最优可能解。由此，逐层向量变换被增强为行为良好的、受 LIS 约束的度量同胚。大量实验、对比与消融研究证明了 MLDL 在流形学习与流形数据生成上的显著优势。MLDL 具有足够的通用性，可增强任何基于向量变换的网络。代码见 https://github.com/westlake-cairi/Markov-Lipschitz-Deep-Learning。
引用
@article{arxiv.2006.08256,
title = {Markov-Lipschitz Deep Learning},
author = {Stan Z. Li and Zelin Zang and Lirong Wu},
journal= {arXiv preprint arXiv:2006.08256},
year = {2020}
}