面向轻量级多模态多任务分类模型的半监督迁移学习策略：Google 是所需之物
计算机视觉与模式识别
2025-01-06 v1 人工智能
摘要
随着数字图像数据的volume增长，图像分类的有效性日益增强。本研究引入一个稳健的多标签分类系统，用于为单张图像分配多个标签，解决图像可能关联多个类别（从 1 到 19，不包括 12）的复杂性。我们提出一种多模态分类器，将先进的图像识别算法与自然语言处理（NLP）模型融合，包含一个融合模块以整合这些不同模态。整合文本数据的目的是通过提供视觉分析难以完全捕获的上下文理解，提高标签预测准确率。我们提出的分类模型将卷积神经网络（CNN）用于图像处理，结合 NLP 技术用于分析图像文字描述（即标题）。该方法包括严格的训练和验证阶段，并通过消融实验验证和分析每个模型组件。初步结果表明，分类器的准确率和效率均得到保证，凸显其作为自动图像标签系统的潜力。
引用
@article{arxiv.2501.01611,
title = {Google is all you need: Semi-Supervised Transfer Learning Strategy For Light Multimodal Multi-Task Classification Model},
author = {Haixu Liu and Penghao Jiang and Zerui Tao},
journal= {arXiv preprint arXiv:2501.01611},
year = {2025}
}