联合音频与语音理解
声音
2023-12-12 v3 人工智能
音频与语音处理
摘要
人类被包含语音与非语音声音的音频信号所包围。对语音与非语音音频事件的识别与理解，以及对二者关系的深刻把握，构成了基本的认知能力。我们首次构建了一个在概念上具有类似通用音频感知与高级推理能力的机器学习模型，称为LTU-AS。具体而言，通过集成Whisper作为感知模块、LLaMA作为推理模块，LTU-AS能够同时识别并联合理解口语文本、语音副语言及非语音音频事件——几乎涵盖可从音频信号中感知的一切。
引用
@article{arxiv.2309.14405,
title = {Joint Audio and Speech Understanding},
author = {Yuan Gong and Alexander H. Liu and Hongyin Luo and Leonid Karlinsky and James Glass},
journal= {arXiv preprint arXiv:2309.14405},
year = {2023}
}
备注
Accepted at ASRU 2023. Code, dataset, and pretrained models are at https://github.com/yuangongnd/ltu. Interactive demo at https://huggingface.co/spaces/yuangongfdu/ltu-2