DeepGOPlus推理的数值稳定性

卷积神经网络（CNNs）目前是现有最广泛使用的深度神经网络（DNN）架构之一，并在许多问题上取得最先进的性能。CNN最初应用于计算机视觉任务，除图像外，也可很好地处理任何具有空间关系的数据，并已被应用于不同领域。然而，近期工作强调了DNN中的数值稳定性挑战，这也与其已知的噪声注入敏感性有关。这些挑战会危及它们的性能和可靠性。本文研究了DeepGOPlus，一种预测蛋白质功能的CNN。DeepGOPlus已取得最先进的性能，并能成功利用和注释蛋白质组学中涌现的大量蛋白质序列。我们通过量化底层浮点数据扰动所产生的数值不确定性，确定了该模型推理阶段的数值稳定性。此外，我们探索了在DeepGOPlus推理中使用降低精度浮点格式的机会，以减少内存消耗和延迟。这是通过使用Monte Carlo Arithmetic（一种实验性量化浮点运算误差的技术）和VPREC（一种以可定制浮点精度格式模拟结果的工具）对DeepGOPlus的执行进行检测来实现的。重点放在推理阶段，因为它是DeepGOPlus模型的主要交付物，广泛适用于不同环境。总而言之，我们的结果表明，尽管DeepGOPlus CNN在数值上非常稳定，但它只能选择性地以更低精度浮点格式实现。我们得出结论，从预训练DeepGOPlus模型获得的预测在数值上非常可靠，并有效利用了现有浮点格式。