相似度-距离-幅度激活函数
机器学习
2026-04-17 v4 计算与语言
摘要
我们引入了相似度-距离-幅度（SDM）激活函数，这是标准 softmax 激活函数的一种更鲁棒且更具可解释性的表述，它在现有的输出幅度（即决策边界）感知的基础上，增加了相似度（即正确预测的深度匹配纳入训练）感知和与训练分布的距离感知，并通过密集匹配实现了基于样本的可解释性。我们进一步引入了 SDM 估计器，该估计器基于通过 SDM 激活对各类经验累积分布函数的数据驱动划分，以控制选择性分类中类条件和预测条件的准确率。当作为预训练语言模型在选择性分类上的最后一层激活时，与使用 softmax 激活的现有校准方法相比，SDM 估计器对协变量偏移和分布外输入更具鲁棒性，同时在分布内数据上保持信息量。
引用
@article{arxiv.2509.12760,
title = {Similarity-Distance-Magnitude Activations},
author = {Allen Schmaltz},
journal= {arXiv preprint arXiv:2509.12760},
year = {2026}
}
备注
Accepted to Findings of the Association for Computational Linguistics: ACL 2026. 21 pages, 8 tables, 1 algorithm. arXiv admin note: substantial text overlap with arXiv:2502.20167