使用不加遗忘学习方法的自动化音频描述持续学习
声音
2021-07-19 v1 机器学习
音频与语音处理
摘要
自动化音频描述（AAC）是为通用音频信号内容自动生成文本描述（即字幕）的任务。多数 AAC 方法利用现有数据集进行优化和/或评估。鉴于 AAC 数据集所包含信息有限，AAC 方法极可能仅学习了所用数据集中的信息。本文提出一种利用持续学习方法使 AAC 方法持续适应新信息的首次尝试。在我们的场景中，一个预优化的 AAC 方法用于某些未见的通用音频信号，并可在给定新参考字幕时更新其参数以适配新信息。我们使用一个自由可用、预优化的 AAC 方法与两个自由可用的 AAC 数据集评估我们的方法。我们将所提方法与三种情景比较：两种为在一个数据集上训练并在另一个上评估，第三种为一个数据集上训练并在另一个上微调。所得结果显示，我们的方法在汲取新知识与不遗忘旧知识之间取得了良好平衡。
引用
@article{arxiv.2107.08028,
title = {Continual Learning for Automated Audio Captioning Using The Learning Without Forgetting Approach},
author = {Jan Berg and Konstantinos Drossos},
journal= {arXiv preprint arXiv:2107.08028},
year = {2021}
}