基于距离抽样的语义重写引擎利用 ChatGPT 进行文本数据操作

语音-语言检索研究日益关注建立音频与文本模态之间的相关性。然而，大多数音频-文本配对数据集相较于音频样本缺乏丰富的文本表达。一个显著挑战是音频-文本数据集中存在相似或相同的标题 despite different audio samples。这导致在许多一对多的映射条件下，音频-文本数据集导致检索任务性能差。本文提出了一种新方法来解决音频-语言检索任务中数据不平衡的问题。为克服这一限制，我们引入一种方法，该方法利用距离抽样方法生成可控的文本数据操纵分布。对于一组具有相同上下文的句子，使用距离计算任意两个句子之间的操纵程度，并基于杰卡德相似度定义的文本簇进行 ChatGPT 的 few-shot 提示。因此，当应用于基于距离的文本簇进行 few-shot 提示时，ChatGPT 可根据距离调整操纵文本的多样性。所提方法显著增强了音频-文本检索性能，优于传统文本增强技术。