一种提升神经网络对数据质量问题鲁棒性的调制层
机器学习
2023-04-25 v4 人工智能
摘要
数据缺失与质量问题是机器学习中的常见问题，尤其对于医疗等高风险应用。开发者常仅在精心整理的高质量数据集上训练机器学习模型；然而，这降低了此类模型在生产环境中的效用。我们提出一种新颖的神经网络修改方法，以减轻低质量与缺失数据的影响，其将全连接层的固定权重替换为某一附加输入的函数。这受生物神经网络中神经调制的启发：皮层可基于输入的可靠性及其他数据的存在而上、下调制输入。在测试中，以可靠性得分为调制信号，带调制层的模型对包括额外缺失在内的数据质量退化表现出更强鲁棒性。这些模型优于插补法，因其完全跳过插补过程而节省训练时间，并进一步允许引入插补无法处理的其他数据质量度量。我们的结果表明，利用调制全连接层显式考量信息质量下降，可使人工智能系统部署于实时应用中。
引用
@article{arxiv.2107.08574,
title = {A Modulation Layer to Increase Neural Network Robustness Against Data Quality Issues},
author = {Mohamed Abdelhack and Jiaming Zhang and Sandhya Tripathi and Bradley A Fritz and Daniel Felsky and Michael S Avidan and Yixin Chen and Christopher R King},
journal= {arXiv preprint arXiv:2107.08574},
year = {2023}
}