ReLU 网络中作为相似性函数的梯度表示
机器学习
2021-10-27 v1 人工智能
摘要
前馈网络可解释为在最后一层具有线性决策面的映射。我们研究在 ReLU（修正线性单元）激活情况下，如何利用网络的切空间来精炼决策。我们证明，一个在网络参数上参数化的简单黎曼度量构成了至少与原始网络同样好的相似性函数，并我们提出一种稀疏度量以增大相似性差距。
引用
@article{arxiv.2110.13581,
title = {Gradient representations in ReLU networks as similarity functions},
author = {Dániel Rácz and Bálint Daróczy},
journal= {arXiv preprint arXiv:2110.13581},
year = {2021}
}
备注
Accepted at 29th ESANN 2021, 6-8 October 2021, Belgium, 7 pages, 1 figure