多模态细粒度主题-帖子关系推理用于帖子质量评估
机器学习
2025-07-25 v1 人工智能
摘要
准确评估帖子质量需要复杂的关系推理，以捕捉主题与帖子之间的细微关系。然而，现有研究面临三个主要局限性：(1) 将任务视为单模态分类，未能利用多模态线索和细粒度质量区分；(2) 在深度多模态融合过程中引入噪声，导致误导性信号；(3) 缺乏捕捉相关性和全面性等复杂语义关系的能力。为此，我们提出了多模态细粒度主题-帖子关系推理框架（Multimodal Fine-grained Topic-post Relational Reasoning, MFTRR），其模拟了人类的认知过程。MFTRR将帖子质量评估重新定义为排序任务，并融合多模态数据以更好地捕捉质量差异。它包含两个关键模块：(1) 局部-全局语义关联推理模块，建模帖子与主题在局部和全局层面的细粒度语义交互，通过最大信息融合机制抑制噪声；(2) 多层证据关系推理模块，探索宏观和微观层次的关系线索以强化证据驱动的推理。我们在三个新构建的多模态主题-帖子数据集和公开的 Lazada-Home 数据集上评估了 MFTRR。实验结果表明，MFTRR显著优于最先进的基线方法，在艺术史数据集上相较于最佳单模态方法实现了最高达9.52%的 NDCG@3 提升。
引用
@article{arxiv.2507.17934,
title = {Multimodal Fine-grained Reasoning for Post Quality Evaluation},
author = {Xiaoxu Guo and Siyan Liang and Yachao Cui and Juxiang Zhou and Lei Wang and Han Cao},
journal= {arXiv preprint arXiv:2507.17934},
year = {2025}
}
备注
48 pages