"不常见也没关系"：在支持不常见子字节的硬件加速器上量化声音事件检测网络

如果我们的降噪耳机能够理解我们的音频环境，那么它们就可以告知我们重要的声音事件，根据我们收听的内容类型调整均衡，并根据音频场景动态调整降噪参数以进一步减少干扰。然而，在能量预算和片上内存有限的耳机上运行多个音频理解模型仍然是一项具有挑战性的任务。在这项工作中，我们识别了一类新的神经网络加速器（例如 GAP9 上的 NE16），它允许将网络权重量化为不同的常见（例如 8 位）和不常见位宽（例如 3 位）。然后，我们应用可微神经架构搜索来搜索网络在两个不同声音事件检测任务上的最优位宽，这些任务对量化和预测粒度（即分类与少样本学习的嵌入）可能有不同的要求。我们进一步在实际硬件上评估了我们的量化模型，结果表明，与 8 位模型相比，我们在保持浮点性能的同时，平均减少了 62% 的内存使用、46% 的推理延迟和 61% 的能耗。我们的工作揭示了此类加速器在结合适当的搜索方法时对声音事件检测任务的好处。