基于时延神经网络的多模态标点恢复高效集成方法
计算与语言
2024-05-29 v2 人机交互
机器学习
声音
音频与语音处理
摘要
标点恢复在自动语音识别的后处理流程中起着至关重要的作用，但模型效率是该任务的关键要求。为此，我们提出 EfficientPunct，一种采用多模态时延神经网络的集成方法，其性能以不到当前最佳模型十分之一的推理网络参数量超越了后者 1.0 个 F1 点。我们精简了一个语音识别器以高效输出用于标点恢复的隐藏层声学嵌入，并利用 BERT 提取有意义的文本嵌入。通过采用强制对齐和时序卷积，我们消除了基于注意力的融合需求，大幅提升了计算效率并提高了性能。EfficientPunct 通过一种集成方法确立了新的最先进水平，该集成对 BERT 纯语言预测的权重略高于多模态网络预测。我们的代码可在 https://github.com/lxy-peter/EfficientPunct 获取。
引用
@article{arxiv.2302.13376,
title = {Efficient Ensemble for Multimodal Punctuation Restoration using Time-Delay Neural Network},
author = {Xing Yi Liu and Homayoon Beigi},
journal= {arXiv preprint arXiv:2302.13376},
year = {2024}
}
备注
6 pages, 1 figure, 5 tables, paper at IMCOM 2024, technical report at Recognition Technologies, Inc