神经网络使用距离度量
机器学习
2024-11-28 v1 人工智能
机器学习
摘要
我们提出了神经网络（采用 ReLU 和绝对值激活函数）学习基于距离的表示的实证证据。我们独立操控内部激活的距离和强度属性，发现这些架构对小幅距离扰动极其敏感，而在面对大幅度扰动时仍能保持稳健的性能。这些发现挑战了当前对神经网络激活基于强度的解释，为理解其学习和决策过程提供了新视角。
引用
@article{arxiv.2411.17932,
title = {Neural Networks Use Distance Metrics},
author = {Alan Oursland},
journal= {arXiv preprint arXiv:2411.17932},
year = {2024}
}
备注
8 pages excluding references and appendix. 12 pages total. 3 figures. The code for the experiments in this paper is available at https://github.com/alanoursland/neural_networks_use_distance_metrics