在自然视频上高性能预测的 DNN 架构丧失了子模块学习离散世界数据集的能力
计算机视觉与模式识别
2019-04-18 v1 机器学习
机器学习
摘要
认知是针对不同任务调优的松散连接的功能集合，还是存在一种通用学习算法？如果这样一种假设的通用算法确实存在并适应了我们的世界，它能否无缝地适应一个具有不同自然规律的世界？我们考虑了预测编码是这样一种通用规则的理论，并针对一种特定的神经网络架构对其进行了证伪，该架构因在自然视频上的高性能预测和复现人类视觉错觉而闻名：PredNet。我们的结果表明，PredNet 的高性能无需重新训练即可泛化到一个完全不同的自然视频数据集上。然而，PredNet 无法被训练到在一个根据生命游戏规则创建的人工视频数据集上达到哪怕平庸的准确率。我们还发现，PredNet 的一个子模块，即单独训练的卷积神经网络，在 GoL 上达到了完美的准确率，但在自然视频上表现平庸，这表明 PredNet 的架构本身既要对自然视频上的高性能负责，也要对在 GoL 上的性能损失负责。正如人类无法预测 GoL 的动态一样，我们的结果表明，在具有不同规则集的感官输入上的高性能之间可能存在一种权衡。
引用
@article{arxiv.1904.07969,
title = {DNN Architecture for High Performance Prediction on Natural Videos Loses Submodule's Ability to Learn Discrete-World Dataset},
author = {Lana Sinapayen and Atsushi Noda},
journal= {arXiv preprint arXiv:1904.07969},
year = {2019}
}