解读投诉方面：面向金融领域视频投诉数据集的基于方面的投诉识别模型
计算机视觉与模式识别
2025-03-04 v1 人工智能
机器学习
摘要
在竞争激烈的营销环境中，有效的投诉管理对于客户服务和业务成功至关重要。视频投诉将文本和图像内容相结合，提供了宝贵的见解，通过解决客户诉求并阐明产品优势与缺点的方面。然而，在庞大的日常多模态金融数据中理解细微的投诉方面仍然是巨大的挑战。为此，我们构建了一个由 433 个公开实例组成的专有多模态视频投诉数据集。每个实例在言语水平上都有细致的注释，涵盖五个不同的金融方面及其相关投诉标签。为支持这一工作，我们引入了 Solution 3.0，一个专为多模态方面投诉识别任务设计的模型。Solution 3.0 旨在完成三个关键任务：1）处理多模态特征（音频和视频），2）促进多标签方面分类，3）并行进行方面分类和投诉识别的多任务。Solution 3.0 利用基于 CLIP 的双冻结编码器，集成图像段编码器进行全局特征融合，借助语境注意力（ISEC）提高准确率和效率。我们提出的框架在几乎所有指标上都优于当前的多模态基线方法，为加强恰当的客户关怀举措并有效帮助个体解决问题提供了新的方式。
引用
@article{arxiv.2503.00054,
title = {Deciphering the complaint aspects: Towards an aspect-based complaint identification model with video complaint dataset in finance},
author = {Sarmistha Das and Basha Mujavarsheik and R E Zera Lyngkhoi and Sriparna Saha and Alka Maurya},
journal= {arXiv preprint arXiv:2503.00054},
year = {2025}
}