基于蒙特卡洛方法实现混合效应神经网络以适应多样化、分层数据
机器学习
2024-07-02 v1 机器学习
摘要
神经网络常常假设输入数据样本之间相互独立，忽略现实数据集中固有的聚类模式所导致的相关性（例如，由于不同场所或重复测量）。最近提出的混合效应神经网络 (MENN) 通过分离聚类特定的"随机效应"与聚类不变的"固定效应"来提高针对分层数据的泛化能力和可解释性。然而，现有方法仅允许对聚类效应进行近似量化，且仅限于回归和二分类目标，且仅支持单一聚类特征。我们提出了 MC-GMENN，一种新方法采用蒙特卡洛方法训练 Generalized Mixed Effects Neural Networks。我们经验性地展示了 MC-GMENN 在泛化性能、时间复杂性和聚类间方差量化方面均优于现有的混合效应深度学习模型。此外，MC-GMENN 可适用于广泛的数据集，包括具有多个高基数分类特征的多类分类任务。对于这些数据集，我们展示了 MC-GMENN 在分类准确率方面优于常规编码和嵌入方法，同时为解释聚类模式效应提供了原则性的方法。
引用
@article{arxiv.2407.01115,
title = {Enabling Mixed Effects Neural Networks for Diverse, Clustered Data Using Monte Carlo Methods},
author = {Andrej Tschalzev and Paul Nitschke and Lukas Kirchdorfer and Stefan Lüdtke and Christian Bartelt and Heiner Stuckenschmidt},
journal= {arXiv preprint arXiv:2407.01115},
year = {2024}
}