面向自闭症儿童交互中儿童-成人分类的鲁棒自监督语音嵌入
音频与语音处理
2023-08-01 v1
摘要
我们解决在含儿童口语交互中检测谁在何时说话的问题，即自动儿童-成人说话人分类。由于发育差异，涉及儿童的交互具有丰富的异质性。神经多样性的存在（例如由于自闭症）带来了额外的变异性。我们研究了以更多无标注儿童语音进行额外预训练对儿童-成人分类性能的影响。我们采用两种近期自监督算法 Wav2vec 2.0 与 WavLM，以对比损失为目标，使用含儿童交互数据对模型进行预训练。在两个涉及自闭症儿童的临床交互数据集上，我们报告了相对于最先进基线在分类 F1 分数上 9%–13% 的相对提升。我们还基于不同人口统计因素下的儿童子组交互评估模型，分析了不同条件下预训练的影响。
引用
@article{arxiv.2307.16398,
title = {Robust Self Supervised Speech Embeddings for Child-Adult Classification in Interactions involving Children with Autism},
author = {Rimita Lahiri and Tiantian Feng and Rajat Hebbar and Catherine Lord and So Hyun Kim and Shrikanth Narayanan},
journal= {arXiv preprint arXiv:2307.16398},
year = {2023}
}