认识深度学习：让机器学习模型‘知道自己不知道’

机器学习已取得显著成功，但其在安全关键领域的应用仍受限于内在的不确定性管理能力，导致模型在遇到分布外数据、对抗性扰动或自然波动环境时表现过于自信且不可靠。本论文题为《认识深度学习：让机器学习模型‘知道自己不知道’》，旨在解决这些关键挑战，通过发展认识人工智能范式，显式地建模和量化认识不确定性：即源于有限、偏置或不完整训练数据的不确定性，区别于可归约随机性的 aleatoric 不确定性，从而使模型能够承认自身局限性，在不确定性较高时避免过于自信的决策。本工作的核心是开发随机集神经网络（Random-Set Neural Network, RS-NN），一种新方法，利用随机集理论预测一组类别上的信念函数，通过关联信任集的宽度来捕捉认识不确定性。RS-NN的应用包括其对大型语言模型（LLM）的适配以及在自动驾驶天气分类中的部署。此外，论文提出了统一的不确定性感知分类器评估框架。广泛实验表明，将认识意识整合到深度学习中不仅能缓解过度自信预测的风险，还为人工智能范式转变奠定了基础，即‘知道自己不知道’的能力成为稳健可靠系统的标志。标题精神概括了本工作的核心理念，强调真正的智慧在于识别和管理自身知识的局限。