MTPareto：一种用于虚假新闻检测的多模态靶向 Pareto 框架
机器学习
2025-01-27 v2
摘要
多模态虚假新闻检测对于维护互联网多媒体信息的真实性至关重要。多模态信息在形式和内容上的显著差异导致优化冲突加剧，阻碍了有效的模型训练，并降低了现有双模态融合方法的有效性。为了解决这一问题，我们提出了 MTPareto 框架来优化多模态融合，该框架使用靶向 Pareto (Targeted Pareto, TPareto) 优化算法进行具有一定侧重点的融合层级特定目标学习。基于所设计的分层融合网络，该算法定义了三个具有对应损失的融合层级，并对每个层级实施面向所有模态的 Pareto 梯度整合。该方法利用从中间融合中获得的信息为整个过程提供正面效应，从而实现了卓越的多模态融合。在 FakeSV 和 FVC 数据集上的实验结果表明，所提出的框架优于基线，且 TPareto 优化算法分别实现了 2.40% 和 1.89% 的准确率提升。
引用
@article{arxiv.2501.06764,
title = {MTPareto: A MultiModal Targeted Pareto Framework for Fake News Detection},
author = {Kaiying Yan and Moyang Liu and Yukun Liu and Ruibo Fu and Zhengqi Wen and Jianhua Tao and Xuefei Liu and Guanjun Li},
journal= {arXiv preprint arXiv:2501.06764},
year = {2025}
}