COVID-19 社交媒体内容中的视觉说服：一种多模态刻画

社交媒体内容 routinely 采用多模态设计来传达信息、塑造意义，并将解读引向期望的隐含之意，但同时使用文本与视觉图像的选择及其效果尚未得到充分研究。本工作提出一种计算方法，用于分析多模态内容中说服性信息的后果，聚焦于在 Twitter 上分享的 COVID-19 相关新闻文章的两个方面：流行度与可靠性。这两方面在错误信息的传播中相互交织：例如，一篇旨在误导的不可靠文章必须获得一定的流行度。本工作有若干贡献。首先，我们提出一种多模态（图像与文本）方法，可有效同时识别信息源的流行度与可靠性。其次，我们识别出对信息流行度与可靠性具有预测性的文本与视觉元素。第三，通过建模跨模态关系与相似性，我们能够揭示不可靠文章如何以扭曲、偏倚的方式构建多模态意义。我们的工作展示了如何使用多模态分析来理解具有影响力的内容，并对社交媒体素养与参与度具有启示意义。