USTC-NERCSLIP 团队在 CHiME-8 MMCSG 挑战赛中的系统
音频与语音处理
2024-10-10 v1 声音
摘要
在两人对话且其中一人佩戴智能眼镜的场景中，实时转录和显示说话者的内容是一个有趣的应用，可为后续任务（如翻译和理解）提供先验信息。同时，从智能眼镜捕获的多模态数据是稀缺的。因此，我们提出利用具有多种重叠率的模拟数据和一对一匹配训练策略，来缩小真实数据与模拟数据之间模型训练的偏差。此外，在模型中结合 IMU 单元数据可以帮助音频实现更好的实时语音识别性能。
引用
@article{arxiv.2410.05986,
title = {The USTC-NERCSLIP Systems for the CHiME-8 MMCSG Challenge},
author = {Ya Jiang and Hongbo Lan and Jun Du and Qing Wang and Shutong Niu},
journal= {arXiv preprint arXiv:2410.05986},
year = {2024}
}