MetaSICL：通过元语音上下文学习适配听觉大语言模型
声音
2026-05-27 v2 人工智能
计算与语言
摘要
听觉大语言模型在广泛的语音和音频理解任务中展示了强大的性能。然而，当应用于低资源任务时，它们常常表现不佳。在领域内标注数据稀缺或与真实测试分布不匹配的情况下，直接微调可能效果不佳。上下文学习提供了一种无需训练、在推理时适配的解决方案，通过以少量领域内演示为条件来适配听觉大语言模型。在这项工作中，我们首先展示了Vanilla ICL在选定的模型中提高了跨多种语音和音频任务的零样本性能，这表明这种ICL适配能力可以推广到多模态设置。在此基础上，我们提出了Meta Speech In-Context Learning (MetaSICL)，这是一种仅利用来自各种任务的高资源语音数据的训练后方法，旨在增强模型的上下文学习能力。实验表明，我们提出的方法在低资源场景下优于直接微调。
引用
@article{arxiv.2601.18904,
title = {MetaSICL: Adapting Audiroty LLM via Meta Speech In-Context Learning},
author = {Haolong Zheng and Siyin Wang and Zengrui Jin and Mark Hasegawa-Johnson},
journal= {arXiv preprint arXiv:2601.18904},
year = {2026}
}