预测编码网络基准测试——简单化
机器学习
2025-02-17 v2 计算机视觉与模式识别
摘要
在这项工作中，我们致力于解决机器学习中预测编码网络（PCN）的效率与可扩展性问题。为此，我们提出了一个名为 PCX 的库，专注于性能与简洁性，并用它为社区实现了一组大型标准基准以供实验使用。由于该领域的大多数研究都提出各自的任务和架构，不进行相互比较，且专注于小规模任务，一个简单快速的开源库和一套全面的基准测试将能解决所有这些问题。随后，我们使用现有的 PCN 算法以及在生物可塑性深度学习社区中流行的其他方法的改编版本，对这些基准进行了广泛测试。这一切使我们能够：(i) 在更复杂的数据集上测试比文献中常用的架构大得多的架构；(ii) 在所有提供的任务和数据集上达到新的 SOTA 结果；(iii) 清晰地指出 PCN 当前的局限性，从而让我们能够阐明重要的未来研究方向。为了激发社区力量解决该领域的主要开放问题之一——可扩展性，我们发布了代码、测试和基准。库链接：https://github.com/liukidar/pcx
引用
@article{arxiv.2407.01163,
title = {Benchmarking Predictive Coding Networks -- Made Simple},
author = {Luca Pinchetti and Chang Qi and Oleh Lokshyn and Gaspard Olivers and Cornelius Emde and Mufeng Tang and Amine M'Charrak and Simon Frieder and Bayar Menzat and Rafal Bogacz and Thomas Lukasiewicz and Tommaso Salvatori},
journal= {arXiv preprint arXiv:2407.01163},
year = {2025}
}
备注
34 pages, 26 figures