在深度神经网络中整合随机效应
机器学习
2023-01-30 v3 机器学习
摘要
深度神经网络(DNNs)等现代监督学习方法通常隐式地假设观测响应在统计上相互独立。相比之下,相关数据在现实大规模应用中十分普遍,相关性的典型来源包括空间、时间和聚类结构。这些相关性要么被DNNs忽略,要么针对特定用例开发临时解决方案。我们提出使用混合模型框架来处理DNNs中的相关数据。通过将相关性结构背后的效应视为随机效应,混合模型能够避免过度拟合的参数估计,并最终产生更好的预测性能。结合混合模型与DNNs的关键在于使用高斯负对数似然(NLL)作为自然损失函数,并通过包括随机梯度下降(SGD)在内的DNN机制进行最小化。由于NLL不像标准DNN损失函数那样可分解,使用SGD与NLL带来了一些理论和实现上的挑战,我们对此进行了解决。我们称之为LMMNN的方法在各种相关性场景下的不同模拟和真实数据集上,被证明优于自然竞争者。我们的重点在于回归设置和表格数据集,但我们也展示了一些分类结果。我们的代码可在 https://github.com/gsimchoni/lmmnn 获取。
引用
@article{arxiv.2206.03314,
title = {Integrating Random Effects in Deep Neural Networks},
author = {Giora Simchoni and Saharon Rosset},
journal= {arXiv preprint arXiv:2206.03314},
year = {2023}
}
备注
53 pages, 9 figures