面向语音处理的拓扑数据分析
声音
2023-09-12 v3 计算与语言
机器学习
音频与语音处理
代数拓扑
摘要
我们将拓扑数据分析 (TDA) 应用于语音分类问题以及对预训练语音模型 HuBERT 的内省。为此，我们引入了一些从 Transformer 注意力图和嵌入中导出的拓扑与代数特征。我们表明，基于此类特征构建的简单线性分类器优于微调后的分类头。特别地，我们在四个常用数据集上取得了约 准确率和 ERR 的提升；在 CREMA-D 上，所提出的特征集以 的准确率达到了新的 SOTA 性能。我们还表明，拓扑特征能够揭示语音 Transformer 头的功能角色；例如，我们发现这些头无需任何下游微调即可区分样本源对（自然/合成）或说话人声音。我们的结果表明，TDA 是一种有前景的语音分析新方法，尤其适用于需要结构预测的任务。附录、TDA 简介及其他补充材料可在此处获取 - https://topohubert.github.io/speech-topology-webpages/
引用
@article{arxiv.2211.17223,
title = {Topological Data Analysis for Speech Processing},
author = {Eduard Tulchinskii and Kristian Kuznetsov and Laida Kushnareva and Daniil Cherniavskii and Serguei Barannikov and Irina Piontkovskaya and Sergey Nikolenko and Evgeny Burnaev},
journal= {arXiv preprint arXiv:2211.17223},
year = {2023}
}
备注
Accepted to INTERSPEECH 2023 conference