神经多模态主题建模：一项综合评估

神经主题模型能够成功地在文本数据中发现连贯且多样化的主题。然而，它们在处理多模态数据集（例如，图像和文本）方面存在局限。本文首次对包含文本和图像的文档的多模态主题建模进行了系统且全面的评估。在此过程中，我们提出了两种新颖的主题建模解决方案和两种新颖的评估指标。总体而言，我们在前所未有的丰富多样的数据集集合上进行的评估表明，我们的两种模型都能生成连贯且多样化的主题。然而，一种方法优于另一种方法的程度取决于指标和数据集的组合，这提示未来需要进一步探索混合解决方案。值得注意的是，我们简洁的人工评估结果与我们提出的指标所确定的结果一致。这种一致性不仅增强了我们指标的可信度，也凸显了它们在指导未来多模态主题建模工作中的潜在应用价值。