探讨生物学启发式贝叶斯学习在人工神经网络中的可行性

灾难性遗忘是人工系统在终身学习领域的主要问题。当前的人工系统在学习它们之前看到的领域方面表现相当不错;然而，一旦遇到新事物，它们要么要经历显著的性能恶化，要么如果尝试教导它们学习新的数据分布，它们会忘记之前学到的东西。此外，它们也容易在对看到的以及看不到的数据进行推断时过于自信，这会导致在生命关乜时刻引发显著的可靠性问题。因此，深入探讨这一问题并提出一种方法对于持续适应性和可靠性至关重要。如果我们远离这样的系统的工程领域，转而关注生物系统，我们会发现这些系统在计算对准确预测的依赖性以及不确定性方面非常高效，这进一步有助于它们在生命环境中不断细化推断。这类系统并不完美;然而，它们为在不确定性下进行推理提供了坚实的理解，这引 us 到贝叶斯推理的领域。我们将贝叶斯推理与阈值机制结合，以模仿更生物学启发式的模型，但仅在空间层面。进一步，我们再现了最近的一项关于贝叶斯推理与脉冲神经网络用于终身学习的研究，以便与其作为合适的生物学启发式贝叶斯框架进行比较。总体而言，我们在视觉数据集MNIST上研究了生物学启发式贝叶斯学习在人工系统中的可行性，结果表明，在模型被迫预测时与模型不被迫预测时的相对性能有所改善。