面向鱼类喂食强度评估的音视频类别增量学习
机器学习
2025-04-22 v1
摘要
鱼类喂食强度评估（FFIA）是工业化养殖管理中的关键任务。最近的多模态方法在提高FFIA的鲁棒性和效率方面显示出前景。然而，这些方法在适应新的鱼类种类或环境时面临严重的灾难性遗忘问题，以及缺乏合适数据集的挑战。为解决这些限制，我们首先引入AV-CIL-FFIA数据集，包含81,932个标记的音视频剪辑，覆盖六种不同鱼类的喂食强度，来源于真实养殖环境。随后，我们首次为FFIA实现音视频类别增量学习（CIL），通过在AV-CIL-FFIA上的基准测试表明其显著优于单模态方法。现有CIL方法高度依赖历史数据。基于示例的方法存储原始样本，造成存储挑战；而基于示例的方法则避免数据存储，但在区分不同鱼类种类间细微的喂食强度变化方面困难。为克服这些限制，我们提出HAIL-FFIA，一种新的音视频类别增量学习框架，通过原型方法桥接这一鸿沟，实现无示例化效率，同时通过紧凑特征表示保留关键知识。具体而言，HAIL-FFIA采用层次表示学习，具备双路径知识保留机制，将一般强度知识与鱼类特定特征分离。此外，它还 features 一种动态模态平衡系统，根据喂食行为阶段自适应调整音频与视觉信息的重要性。实验结果表明，HAIL-FFIA在AV-CIL-FFIA上优于SOTA方法，实现更高精度、更低存储需求，有效缓解了类别增量鱼类学习中的灾难性遗忘问题。
引用
@article{arxiv.2504.15171,
title = {Audio-Visual Class-Incremental Learning for Fish Feeding intensity Assessment in Aquaculture},
author = {Meng Cui and Xianghu Yue and Xinyuan Qian and Jinzheng Zhao and Haohe Liu and Xubo Liu and Daoliang Li and Wenwu Wang},
journal= {arXiv preprint arXiv:2504.15171},
year = {2025}
}