水产养殖中的多模态鱼类摄食强度评估
声音
2024-11-26 v3 多媒体
音频与语音处理
摘要
鱼类摄食强度评估（FFIA）旨在评估摄食过程中鱼类食欲的变化，这在工业化水产养殖应用中至关重要。现有 FFIA 方法受其噪声鲁棒性、计算复杂度以及缺乏用于开发模型的公开数据集的限制。为解决这些问题，我们首先引入 AV-FFIA，这是一个包含 27,000 个标注音频和视频片段的新数据集，捕捉了不同水平的鱼类摄食强度。随后，我们通过利用在单一模态上预训练的模型并以数据融合方法融合，引入用于 FFIA 的多模态方法。我们在 AV-FFIA 上对这些方法进行基准研究，并展示了多模态方法相对于基于单模态方法的优势，尤其在噪声环境中。然而，与为单一模态开发的方法相比，多模态方法由于需要对每种模态使用独立的编码器，可能涉及更高的计算成本。为克服该问题，我们进一步提出一种基于统一混合模态的 FFIA 新方法，称为 U-FFIA。U-FFIA 是一种能够处理的音频、视觉或音视觉模态的单模型，通过在训练中利用模态丢弃以及使用单模态数据预训练模型的知识蒸馏来实现。我们证明 U-FFIA 能够取得优于或与最先进的模态特定 FFIA 模型相当的性能，且计算开销显著降低，从而实现鲁棒且高效的 FFIA 以改进水产养殖管理。
引用
@article{arxiv.2309.05058,
title = {Multimodal Fish Feeding Intensity Assessment in Aquaculture},
author = {Meng Cui and Xubo Liu and Haohe Liu and Zhuangzhuang Du and Tao Chen and Guoping Lian and Daoliang Li and Wenwu Wang},
journal= {arXiv preprint arXiv:2309.05058},
year = {2024}
}