基准测试中的压缩激活函数：基于连续值逻辑实现可解释人工智能
机器学习
2020-10-20 v1 人工智能
摘要
过去几年中，深度神经网络在多项任务上展现出优异结果，然而对可解释性问题的需求仍在增长，以提升模型透明度、性能与安全性。将神经网络与连续逻辑及多准则决策工具相结合以实现可解释人工智能（XAI）是解决该问题最有前景的途径之一：通过这种结合，神经模型的黑盒性质可得以减轻。基于连续逻辑的神经模型使用所谓的压缩（Squashing）激活函数，这是一类满足自然不变性要求且以修正线性单元为特例的参数化函数族。本工作展示了衡量压缩函数在神经网络中性能的首次基准测试。我们进行了三项实验以检验其实用性，并在五种不同网络类型下与最流行的激活函数进行比较。性能通过准确率、损失和每轮时间来衡量。这些实验与基准测试证明，使用压缩函数是可行的，且性能与传统激活函数相近。此外，我们通过实现幂零逻辑门进行了进一步实验，以展示简单分类任务如何被成功且高性能地解决。结果表明，由于嵌入的幂零逻辑算子和压缩函数的可微性，可以解决其他常用激活函数失效的分类问题。
引用
@article{arxiv.2010.08760,
title = {Squashing activation functions in benchmark tests: towards eXplainable Artificial Intelligence using continuous-valued logic},
author = {Daniel Zeltner and Benedikt Schmid and Gabor Csiszar and Orsolya Csiszar},
journal= {arXiv preprint arXiv:2010.08760},
year = {2020}
}