基于音频和视觉特征对菠萝保质期质量进行分类
计算机视觉与模式识别
2025-05-19 v1 多媒体
声音
音频与语音处理
摘要
确定菠萝保质期质量的无损方法是减少浪费和提高收入的关键步骤。本文构建了一个多模态和多视图分类模型，将菠萝根据音频和视觉特征分为四个质量等级。为了进行研究，我们编译并公开了PQC500数据集，包含500个菠萝，具有两种模态：一种是敲击菠萝记录声音（由多个麦克风实现），另一种是通过多个不同位置的摄像机拍摄图片，提供了多模态和多视图的音频视觉特征。我们修改了对比音视频掩码自编码器，通过大量音视频配对的组合来训练基于跨模态的分类模型。此外，我们提出对训练数据的紧凑大小进行抽样，以实现高效计算。实验在各种数据和模型配置下进行评估，结果表明，所提出的跨模态模型使用音频主抽样训练可实现84%的准确率，优于仅音频和仅视觉模型的准确率提升了6%和18%。
引用
@article{arxiv.2505.11020,
title = {Classifying Shelf Life Quality of Pineapples by Combining Audio and Visual Features},
author = {Yi-Lu Jiang and Wen-Chang Chang and Ching-Lin Wang and Kung-Liang Hsu and Chih-Yi Chiu},
journal= {arXiv preprint arXiv:2505.11020},
year = {2025}
}