实时声音事件定位与检测：边缘设备上的部署挑战
信号处理
2024-09-19 v1
摘要
声音事件定位与检测（SELD）是智能监控和物联网（IoT）系统等众多实际应用中的关键技术。虽然深度神经网络（DNN）代表了SELD的前沿方法，但其显著的计算复杂度和模型规模为在资源受限的边缘设备上部署带来了挑战，尤其是在实时条件下。尽管实时SELD的需求日益增长，但该领域的研究仍有限。本文通过在商业化的树莓派 3 边缘设备上进行大量实验，探讨了将SELD系统用于实际场景实时应用的独特挑战。我们的发现揭示了两个关键且常被忽视的考虑因素：特征提取的高计算成本以及低延迟实时推理导致的性能下降。本文为未来开发更高效和稳健的实时SELD系统提供了宝贵的见解和考虑因素。
引用
@article{arxiv.2409.11700,
title = {Real-Time Sound Event Localization and Detection: Deployment Challenges on Edge Devices},
author = {Jun Wei Yeow and Ee-Leng Tan and Jisheng Bai and Santi Peksi and Woon-Seng Gan},
journal= {arXiv preprint arXiv:2409.11700},
year = {2024}
}
备注
Submitted to ICASSP'25. Code is available at this link : https://github.com/itsjunwei/Realtime-SELD-Edge