深度学习中的记忆化：综述
机器学习
2024-06-07 v1 人工智能
摘要
由深度神经网络驱动的深度学习已经彻底改变了各个领域，然而理解深度神经网络决策和学习过程的复杂性仍然是一个重大挑战。最近的研究揭示了一个有趣的记忆化现象，其中深度神经网络倾向于记忆示例中的特定细节，而不是学习一般模式，这影响了模型的泛化能力、安全性和隐私。这引发了关于深度神经网络泛化性质及其易受安全漏洞攻击的关键问题。在本综述中，我们提出了一个系统框架，基于泛化和安全/隐私领域来组织记忆化定义，并总结了在示例和模型层面的记忆化评估方法。通过全面的文献回顾，我们探讨了深度神经网络的记忆化行为及其对安全和隐私的影响。我们还介绍了由记忆化引起的隐私漏洞以及遗忘现象，并探讨了其与记忆化的联系。此外，我们聚焦于利用记忆化和遗忘机制的各种应用，包括噪声标签学习、隐私保护和模型增强。本综述首次提供了对深度神经网络中记忆化的理解，深入探讨了其挑战和机遇，以促进人工智能发展，同时解决关键的伦理问题。
引用
@article{arxiv.2406.03880,
title = {Memorization in deep learning: A survey},
author = {Jiaheng Wei and Yanjun Zhang and Leo Yu Zhang and Ming Ding and Chao Chen and Kok-Leong Ong and Jun Zhang and Yang Xiang},
journal= {arXiv preprint arXiv:2406.03880},
year = {2024}
}