未训练的神经网络可展示无记忆依赖的抽象推理能力
人工智能
2024-11-11 v2 计算机视觉与模式识别
摘要
抽象推理的本质是争议性的。现代人工神经网络（ANN）模型，如大型语言模型，在测试抽象推理问题时表现出惊人的成功。然而，有人认为这种成功反映了对类似问题（数据污染）的某种记忆，而非通用抽象推理能力。这一担忧得到脆弱性证据的支持，以及对大量训练需求的支持。在本研究中，我们探讨了在没有先验训练的情况下，使用ANN工具箱实现抽象推理的可能性。具体而言，我们研究了一种ANN模型，其中对naive网络权重的优化是在解决问题时进行的，而不是依赖于先前知识。我们将这种建模方法应用于视觉推理问题，发现其表现相对良好。关键的是，这一成功不依赖于对类似问题的记忆。我们进一步提出了其工作机制的解释。最后，由于问题解决通过改变ANN权重来完成，我们探讨了问题解决与ANN中知识积累之间的关系。
引用
@article{arxiv.2407.17791,
title = {Untrained neural networks can demonstrate memorization-independent abstract reasoning},
author = {Tomer Barak and Yonatan Loewenstein},
journal= {arXiv preprint arXiv:2407.17791},
year = {2024}
}