多线性映射层：基于结构约束的预测正则化
计算机视觉与模式识别
2015-07-31 v1
摘要
本文提出并研究了一种对神经网络输出施加结构约束的技术，当输出已知近似符合低秩先验时，除了提高预测精度外，还能减少计算量和参数数量。该技术通过用所谓的MLM层替换神经网络的输出层来实现，迫使输出成为某个多线性映射（如混合Kronecker点积或Kronecker张量积）的结果。特别地，给定一个在SVHN数据集上训练的“自编码器”模型，我们可以构建一个带有MLM层的新模型，实现总参数数量减少62\%，并将重建误差从0.088降低到0.004。在SVHN数据集上训练的其他自编码器模型变体上的进一步实验也证明了MLM层的功效。
引用
@article{arxiv.1507.08429,
title = {Multilinear Map Layer: Prediction Regularization by Structural Constraint},
author = {Shuchang Zhou and Yuxin Wu},
journal= {arXiv preprint arXiv:1507.08429},
year = {2015}
}