用于请求与投诉检测的级联跨模态Transformer
计算与语言
2023-07-31 v1 机器学习
多媒体
音频与语音处理
摘要
我们提出了一种新颖的级联跨模态Transformer（CCMT），其结合语音与文本转写来检测电话对话中的客户请求与投诉。我们的方法利用多模态范式，通过自动语音识别（ASR）模型转写语音并将转写文本翻译为不同语言。随后，我们将基于特定语言BERT的模型与Wav2Vec2.0音频特征结合到一个新颖的级联交叉注意力Transformer模型中。我们将系统应用于ACM多媒体2023计算副语言学挑战赛的请求子挑战，在投诉类与请求类上分别达到了65.41%与85.87%的非加权平均召回率（UAR）。
引用
@article{arxiv.2307.15097,
title = {Cascaded Cross-Modal Transformer for Request and Complaint Detection},
author = {Nicolae-Catalin Ristea and Radu Tudor Ionescu},
journal= {arXiv preprint arXiv:2307.15097},
year = {2023}
}
备注
Accepted at ACMMM 2023