深度音视频相关学习的最新进展与挑战综述
多媒体
2024-12-03 v1 人工智能
计算机视觉与模式识别
声音
音频与语音处理
摘要
音视频相关学习旨在捕捉和理解音视频数据之间的自然现象。深度学习的快速发展推动了处理音视频数据的各种方法的出现，这些方法在过去几年中数量不断增加，从而促进了全面综述的开发。除了分析本领域使用的数据模型，我们还讨论了 AI 多媒体中应用的任务定义和范式。此外，我们调查了常用的目标函数，并讨论了音视频数据在优化过程中如何被利用，即不同方法如何在音视频领域表示知识。事实上，我们关注人类可理解机制，即反映可理解知识的结构化知识，如何指导学习过程。最重要的是，我们总结了音视频相关学习 (AVCL) 最近的进展，并讨论了未来的研究方向。
引用
@article{arxiv.2412.00049,
title = {A Survey of Recent Advances and Challenges in Deep Audio-Visual Correlation Learning},
author = {Luis Vilaca and Yi Yu and Paula Vinan},
journal= {arXiv preprint arXiv:2412.00049},
year = {2024}
}
备注
arXiv admin note: text overlap with arXiv:2202.13673