神经符号 AI：一类新兴 AI 工作负载及其特征刻画
人工智能
2021-09-14 v1 机器学习
神经与进化计算
性能
摘要
神经符号人工智能是 AI 研究中寻求将传统基于规则的 AI 方法与现代深度学习技术相结合的新兴领域。神经符号模型已在图像与视频推理等领域展现出超越最先进（SOTA）深度学习模型的能力。它们也被证明可用远少于传统模型的训练数据获得高准确率。由于该领域出现较新且已发表结果相对稀少，这些模型的性能特征尚不被充分理解。本文中，我们描述并分析了三种近期神经符号模型的性能特征。我们发现，由于复杂的控制流与低运算强度的操作（如标量乘法与张量加法），符号模型比传统神经模型具有更少的潜在并行性。然而，在神经与符号部分明显可分离的情况下，计算的神经方面主导符号部分。我们还发现数据移动构成了潜在瓶颈，正如其在许多 ML 工作负载中那样。
引用
@article{arxiv.2109.06133,
title = {Neuro-Symbolic AI: An Emerging Class of AI Workloads and their Characterization},
author = {Zachary Susskind and Bryce Arden and Lizy K. John and Patrick Stockton and Eugene B. John},
journal= {arXiv preprint arXiv:2109.06133},
year = {2021}
}
备注
11 pages, 7 figures