深度任意多项式混沌神经网络或深度人工神经网络如何受益于数据驱动的齐次混沌理论
神经与进化计算
2024-02-14 v1 机器学习
摘要
人工智能与机器学习已广泛应用于数学计算、物理建模、计算科学、通信科学与随机分析等诸多领域。基于深度人工神经网络（DANN）的方法当今非常流行。根据学习任务的不同，DANN 的确切形式由其多层架构、激活函数与所谓的损失函数决定。然而，对于大多数基于 DANN 的深度学习方法，神经信号处理的内核结构保持不变，其中节点响应被编码为神经活动的线性叠加，而非线性由激活函数触发。本文中，我们建议从多项式混沌展开（PCE）中已知的齐次混沌理论视角来分析 DANN 中的神经信号处理。从 PCE 视角看，DANN 每个节点上的（线性）响应可视为前一层单个神经元的 阶多元多项式，即单项式的线性加权和。由此视角，传统 DANN 结构隐式（但错误地）依赖于神经信号的高斯分布。此外，该视角揭示出，由于设计原因，对于大多数数据驱动应用，DANN 未必满足任何正交或标准正交条件。因此，DANN 中主流的神经信号处理方式可能导致冗余表示，因为任何神经信号都可能包含来自其他神经信号的部分信息。为应对该挑战，我们建议采用 PCE 理论的数据驱动推广，即任意多项式混沌（aPC），在 DANN 每个节点上构建相应的多元标准正交表示，从而获得深度任意多项式混沌神经网络。
引用
@article{arxiv.2306.14753,
title = {The Deep Arbitrary Polynomial Chaos Neural Network or how Deep Artificial Neural Networks could benefit from Data-Driven Homogeneous Chaos Theory},
author = {Sergey Oladyshkin and Timothy Praditia and Ilja Kröker and Farid Mohammadi and Wolfgang Nowak and Sebastian Otte},
journal= {arXiv preprint arXiv:2306.14753},
year = {2024}
}
备注
Submitted to Neural Networks