RepCNN：面向唤醒词检测的微型强大模型
音频与语音处理
2024-08-05 v2 人工智能
机器学习
摘要
始终在线的机器学习模型需要非常低的内存和计算占用。其受限的参数数量限制了模型的学习能力，也限制了常用训练算法寻找最佳参数的效果。本文展示，小型卷积模型可以通过首先将其计算重构为更大的冗余多支架架构来获得更好的训练效果。随后，对于推理，我们通过代数方式将训练好的模型重新参数化为单支架形式，以获得更少的参数，从而降低内存占用和计算成本。通过这一技术，我们展示，我们的始终在线唤醒词检测模型 RepCNN 在推理时的延迟和准确率之间提供了良好的权衡。RepCNN 重参数化后的模型在准确率上比单支架卷积模型高出 43%，而运行时性能相同。RepCNN 还能实现类似 BC-ResNet 等复杂架构的准确率，同时拥有 2 倍更低的峰值内存使用量和 10 倍更快的运行速度。
引用
@article{arxiv.2406.02652,
title = {RepCNN: Micro-sized, Mighty Models for Wakeword Detection},
author = {Arnav Kundu and Prateeth Nayak and Priyanka Padmanabhan and Devang Naik},
journal= {arXiv preprint arXiv:2406.02652},
year = {2024}
}