基于Rademacher复杂度和Shannon熵的AI不确定性理论
机器学习
2020-11-24 v1 人工智能
摘要
在本文中，我们基于经典的Rademacher复杂度和Shannon熵，对AI深度学习神经网络不确定性研究进行理论探讨。首先，由定义中的量表明经典的Rademacher复杂度与Shannon熵密切相关。其次，基于Shannon的通信数学理论[3]，我们推导出一个准则，以保障AI在分类问题中的正确性与准确性。最后，基于Peter Barlette的工作，我们给出了一个宽松条件和一个更严格条件，以保证AI分类中的正确性与准确性。通过本文基于Shannon理论从Shannon熵角度阐明准则条件，利用其他文献中研究的关系结果，可以更便捷地探索基于其他复杂度度量（如Vapnik-Cheronenkis、Gaussian复杂度）的其他准则。本文推导出一个接近0.5的Shannon熵准则，用于分类问题AI准确性与正确性的理论研究。
引用
@article{arxiv.2011.11484,
title = {A Theory on AI Uncertainty Based on Rademacher Complexity and Shannon Entropy},
author = {Mingyong Zhou},
journal= {arXiv preprint arXiv:2011.11484},
year = {2020}
}