面向具有高基数类别特征的计数数据的主体特定深度神经网络
机器学习
2023-10-19 v1 机器学习
摘要
使用深度神经网络（DNNs）进行主体特定预测的兴趣日益增长，因为真实世界数据常表现出相关性，而这一点在传统 DNN 框架中通常被忽视。本文中，我们提出一种新颖的层次似然学习框架，将 gamma 随机效应引入 Poisson DNN，从而通过捕捉输入变量的非线性效应与主体特定簇效应来提升预测性能。所提方法通过优化单一目标函数，同时给出固定参数的最大似然估计量与随机效应的最佳无偏预测量。该方法实现了一种快速的端到端算法，用于处理常涉及高基数类别特征的聚类计数数据。此外，最先进的网络架构可轻易嵌入所提 h-似然框架中。作为示例，我们引入了多头注意力层与 sparsemax 函数，以在高维设定下实现特征选择。为提升实际性能与学习效率，我们给出了随机参数预测的校正过程以及用于方差分量预训练的方法矩估计量。多种经验研究与真实数据分析证实了所提方法的优势。
引用
@article{arxiv.2310.11654,
title = {Subject-specific Deep Neural Networks for Count Data with High-cardinality Categorical Features},
author = {Hangbin Lee and Il Do Ha and Changha Hwang and Youngjo Lee},
journal= {arXiv preprint arXiv:2310.11654},
year = {2023}
}