中文

论物理概念的可学习性:神经网络能否理解何为真实?

机器学习 2022-08-05 v2 人工智能 计算机视觉与模式识别

摘要

鉴于深度神经网络生成逼真合成数据的卓越能力,我们重新审视经典的信号到符号壁垒。DeepFake与欺骗攻击凸显了物理现实与其抽象表征之间联系的脆弱性,无论该表征由数字计算机还是生物主体学习得到。从广泛适用的抽象概念定义出发,我们表明标准前馈架构只能捕捉平凡概念,而与权重数量和训练数据量无关,尽管其作为分类器极为有效。另一方面,含递归的架构可表示显著更广义的概念类,但仍可能无法从有限数据集中学习。我们利用(自由能)拉格朗日量度量信息复杂度,定性刻画可由随机梯度下降变体训练的现代架构“理解”的概念类。然而,即便概念已被理解,网络除通过持续交互与验证外,无法向外部主体传达其理解。我们随后将物理对象刻画为抽象概念,并借前述分析表明物理对象可由有限架构编码。但要理解物理概念,传感器必须提供持续激励的观测,其中控制数据采集过程的能力至关重要(主动感知)。控制的重要性因模态而异,视觉比听觉或化学感知受益更多。最后我们得出结论:将物理实体绑定至数字身份可在有限时间与有限资源内实现,原则上解决了信号到符号壁垒问题,但强调持续验证的必要性。

关键词

引用

@article{arxiv.2207.12186,
  title  = {On the Learnability of Physical Concepts: Can a Neural Network Understand What's Real?},
  author = {Alessandro Achille and Stefano Soatto},
  journal= {arXiv preprint arXiv:2207.12186},
  year   = {2022}
}