在压缩权重空间中训练与生成神经网络
机器学习
2022-01-03 v1 计算与语言
摘要
一些神经网络的输入和/或输出是其他神经网络的权重矩阵。权重矩阵的间接编码或端到端压缩有助于扩展此类方法。我们的目标是以此为主题展开讨论，从使用离散余弦变换编码权重矩阵的、用于字符级语言建模的循环神经网络开始。我们相应的快速权重版本使用循环神经网络来参数化压缩权重。我们给出了在 enwik8 数据集上的实验结果。
引用
@article{arxiv.2112.15545,
title = {Training and Generating Neural Networks in Compressed Weight Space},
author = {Kazuki Irie and Jürgen Schmidhuber},
journal= {arXiv preprint arXiv:2112.15545},
year = {2022}
}
备注
Presented at ICLR 2021 Workshop on Neural Compression, https://openreview.net/forum?id=qU1EUxdVd_D