深度神经网络中激活空间的高效表示
机器学习
2023-12-14 v1 人工智能
摘要
深度神经网络激活空间的表示被广泛应用于自然语言处理、异常检测和语音识别等任务。由于这些任务的多样性和 DNN 的大规模特性，一种高效且与任务无关的激活表示变得至关重要。经验 p 值已被用于量化观测到的节点激活相对于已知输入产生的激活的相对强度。然而，保留原始数据进行这些计算会增加内存资源消耗并引发隐私问题。为此，我们提出了一种与模型无关的框架，利用特定于节点的直方图来计算观测激活的 p 值，而无需保留已知输入，从而在 DNN 中创建激活的表示。我们提出的方法在多种网络架构和不同下游任务中进行了验证，并与核密度估计和暴力经验基线进行了比较，展现出可观的潜力。此外，该框架将内存使用量减少了 30%，p 值计算时间最多加快 4 倍，同时在对抗攻击检测和合成内容检测等下游任务中保持了 SOTA 的检测能力。而且，由于我们在推理时不保留原始数据，这有可能降低系统受攻击的脆弱性和隐私问题。
引用
@article{arxiv.2312.08143,
title = {Efficient Representation of the Activation Space in Deep Neural Networks},
author = {Tanya Akumu and Celia Cintas and Girmaw Abebe Tadesse and Adebayo Oshingbesan and Skyler Speakman and Edward McFowland},
journal= {arXiv preprint arXiv:2312.08143},
year = {2023}
}