基于AI的跨评估消息工具的多模态方案

收益报告代表一种独特且半结构化的金融沟通来源，融合了有脚本的管理层评论与无脚本的分析师对话。尽管近期进展在金融情感分析中整合了多模态信号（如文本内容和语音语调），但大多数系统依赖于平面文档级或句子级模型，无法捕捉这些交互的分层话语结构。本文引入一种新颖的多模态框架，旨在生成语义丰富且结构感知的收益报告嵌入，通过将其编码为层次化话语树。每个节点（包括独白或问答对）都由来自文本、音频和视频的情感信号以及结构化元数据（如连贯性得分、主题标签和答案覆盖度评估）丰富。提出一种两阶段变换器架构：第一个阶段使用对比学习在节点级别编码多模态内容和话语元数据，第二个阶段综合整个会议的全局嵌入。实验结果表明，所得嵌入形成稳定、语义上有意义的表征，反映情感基调、结构逻辑和主题一致性。除了金融报告，该系统还适用于其他高风险无脚本沟通领域，如远程医疗、教育和政治话语，提供一种稳健且可解释的多模态话语表征方法。该方法在下游任务（如金融预测和话语评估）中具有实际用途，同时为其他涉及高风险沟通的领域提供可通用的方法。