基于神经网络的分布回归学习理论
机器学习
2023-07-10 v1 机器学习
摘要
本文旨在建立通过全连接神经网络（FNN）进行分布回归的逼近理论与学习理论。与经典回归方法不同，分布回归的输入变量为概率测度。因此我们常需执行第二阶段采样过程以逼近分布的实际信息。另一方面，经典神经网络结构要求输入变量为向量。当输入样本为概率分布时，传统深度神经网络方法无法直接应用，分布回归面临困难。亟需为分布输入定义良好的神经网络结构。目前尚无关于分布回归神经网络实现的数理模型与理论分析。为克服技术困难并解决该问题，我们建立一种新颖的全连接神经网络框架，以实现定义在 Borel 概率测度空间上泛函的逼近理论。进一步，基于所建立的泛函逼近结果，在由该新颖分布输入 FNN 结构诱导的假设空间中，通过一种新颖的两阶段误差分解技术，推导出自建分布回归模型几近最优的学习率（至对数项）。
引用
@article{arxiv.2307.03487,
title = {Learning Theory of Distribution Regression with Neural Networks},
author = {Zhongjie Shi and Zhan Yu and Ding-Xuan Zhou},
journal= {arXiv preprint arXiv:2307.03487},
year = {2023}
}