为何选择 KDAC？一种用于知识发现的通用激活函数
机器学习
2022-05-25 v4 计算与语言
神经与进化计算
摘要
面向深度学习的命名实体识别（DNER）已逐渐成为知识发现的范式，极大推动了领域智能化。然而，当前 DNER 的激活函数未能处理梯度消失、无负输出或不可微存在等问题，可能因潜在语义的遗漏与不完整表示而阻碍知识探索。为突破困境，我们提出一种称为 KDAC 的新型激活函数。具体而言，KDAC 是一种具有多种转换模式的聚合函数。其激活区域主干为指数与线性的交互，两端通过自适应线性发散延伸，从而克服了梯度消失与无负输出的障碍。关键在于，不可微点由近似平滑算法预警并消除。KDAC 具有一系列优异性质，包括非线性、近线性变换与导数的稳定性以及动态风格等。我们基于 BERT-BiLSTM-CNN-CRF 模型在六个包含不同领域知识的基准数据集上进行实验，如微博、临床、电商、简历、HAZOP 和人民日报。评估结果表明 KDAC 先进且有效，并能提供更通用的激活以激发 DNER 的性能。我们希望 KDAC 能作为一种有前景的激活函数，致力于知识构建。
引用
@article{arxiv.2111.13858,
title = {Why KDAC? A general activation function for knowledge discovery},
author = {Zhenhua Wang and Dong Gao and Haozhe Liu and Fanglin Liu},
journal= {arXiv preprint arXiv:2111.13858},
year = {2022}
}
备注
Accepted by Neurocomputing