面向低资源语言的视觉接地关键词检测与定位
计算与语言
2023-02-03 v1 声音
音频与语音处理
摘要
本研究考察了视觉接地语音（VGS）模型在语音关键词定位中的使用。研究聚焦于两个主要问题：(1) 利用VGS模型进行关键词定位是否可行；(2) 在实际低资源设定下能否跨语言进行关键词定位？提出了四种定位方法并在英语数据集上评估，其中表现最优的方法达到了57%的准确率。我们还收集并发布了一个包含约鲁巴语口语描述的新数据集，用于跨语言关键词定位。跨语言模型在实际关键词定位中获得了16%的精确率，且该性能可通过从英语数据预训练的模型初始化而提升。本研究详细分析了模型的成功与失败模式，并强调了在低资源设定下使用VGS模型进行关键词定位的挑战。
引用
@article{arxiv.2302.00765,
title = {Visually Grounded Keyword Detection and Localisation for Low-Resource Languages},
author = {Kayode Kolawole Olaleye},
journal= {arXiv preprint arXiv:2302.00765},
year = {2023}
}
备注
PhD dissertation, University of Stellenbosch, 108 pages, submitted and accepted 2023