关键词检测的孔洞神经网络
机器学习
2026-05-18 v1 神经与进化计算
摘要
边缘机器学习提出了一套独特的约束条件,这些约束在云端规模模型部署时并不存在:严格的内存预算、有限的计算资源以及不可协商的准确率阈值必须同时满足。现有的压缩和优化技术可以在资源之间进行权衡,但很少同时提高准确率和模型大小。本文提出了将孔洞反向传播应用于关键词检测的做法,这一实验在2025年12月的Edge Impulse挑战赛中获得了最佳模型奖。通过在标准卷积神经网络上添加人工树突节点(Dendrite Nodes),我们在Edge Impulse关键词检测教程管道中训练的模型表明,树突模型在所有参数计数水平和所有准确率阈值水平上均优于传统架构。在800次超参数试验中进行测试。最佳树突模型在仅1,500个参数的情况下实现了0.933的测试准确率,而基准模型需要约4,000个参数才能实现0.921的准确率。这些结果表明,孔洞反向传播是边缘AI工程师工具包的强大补充,能够在模型质量和部署效率方面同时获得提升。
引用
@article{arxiv.2605.15647,
title = {Perforated Neural Networks for Keyword Spotting},
author = {Vishy Gopal and Aris Ilias Goutis and Ralph Crewe and Erin Yanacek and Rorry Brenner},
journal= {arXiv preprint arXiv:2605.15647},
year = {2026}
}
备注
9 pages, 1 figure, 800-trial hyperparameter sweep; Best Model award, Edge Impulse 2025 Hackathon