基于拼接 LipSwish 的可逆 DenseNet
机器学习
2021-10-26 v3 机器学习
摘要
我们引入可逆稠密网络（i-DenseNets），它是 Residual Flows 的一个参数效率更高的扩展。该方法依赖于对 DenseNet 中拼接的 Lipschitz 连续性的分析，其中我们通过满足 Lipschitz 常数来强制网络的可逆性。此外，我们提出了一种可学习的加权拼接，它不仅提升了模型性能，还指示了拼接加权表示的重要性。另外，我们引入了 Concatenated LipSwish 作为激活函数，我们展示了如何强制其 Lipschitz 条件并提升性能。新架构 i-DenseNet 在以比特每维度衡量的密度估计上优于 Residual Flow 及其他基于流的模型，且我们使用了相等的参数预算。此外，我们表明所提模型在作为生成与判别兼具的混合模型训练时优于 Residual Flows。
引用
@article{arxiv.2102.02694,
title = {Invertible DenseNets with Concatenated LipSwish},
author = {Yura Perugachi-Diaz and Jakub M. Tomczak and Sandjai Bhulai},
journal= {arXiv preprint arXiv:2102.02694},
year = {2021}
}
备注
Accepted at Neural Information Processing Systems (NeurIPS) 2021. This is an extension of Invertible DenseNets (arXiv:2010.02125). arXiv admin note: text overlap with arXiv:2010.02125