余弦归一化：在神经网络中使用余弦相似度代替点积
机器学习
2017-10-24 v5 人工智能
机器学习
摘要
传统上，多层神经网络使用前一层的输出向量与传入权重向量之间的点积作为激活函数的输入。点积的结果无界，从而增加了大方差的风险。神经元的大方差使模型对输入分布的变化敏感，从而导致泛化能力差，并加剧内部协变量偏移，进而减慢训练。为了约束点积并减小方差，我们提出在神经网络中使用余弦相似度或中心余弦相似度（皮尔逊相关系数）代替点积，我们称之为余弦归一化。我们在全连接神经网络以及卷积网络上，使用 MNIST、20NEWS GROUP、CIFAR-10/100 和 SVHN 数据集，将余弦归一化与批量、权值和层归一化进行比较。实验表明余弦归一化取得了优于其他归一化技术的性能。
引用
@article{arxiv.1702.05870,
title = {Cosine Normalization: Using Cosine Similarity Instead of Dot Product in Neural Networks},
author = {Chunjie Luo and Jianfeng Zhan and Lei Wang and Qiang Yang},
journal= {arXiv preprint arXiv:1702.05870},
year = {2017}
}