用于交错文本与图像生成评估的交错场景图
量子物理
2026-01-12 v1 介观与纳米尺度物理
摘要
许多真实世界的用户查询（例如“如何做鸡蛋炒饭？”）都可以从系统获取生成包含文本步骤及伴随图像的响应，这类似于烹饪书。旨在生成交错文本和图像的模型面临在文本和图像之间以及跨模态内确保一致性的挑战。为解决这些挑战，我们提出了ISG（Interleaved Scene Graph），用于评估交错文本与图像生成的综合框架。ISG利用场景图结构捕获文本和图像块之间的关系，在四个层次上评估响应：整体、结构、块级和图像专项。这种多层次评估允许对一致性、连贯性和准确性进行细致评估，并提供可解释的问题-答案反馈。我们随ISG一起引入了一个基准，ISG-Bench，涵盖1,150个样本，分为8个类别和21个子类别。该基准数据集包括复杂的语言-视觉依赖关系和金标准答案，用于有效评估以视觉为中心的任务，如风格迁移，这是当前模型面临的挑战。使用ISG-Bench，我们展示了最近的统一视觉-语言模型在生成交错内容方面表现不佳。虽然将独立语言和图像模型组合的组合方法在整体层面上比统一模型提高了111%，但在块级和图像层面上的表现仍不理想。为促进未来工作，我们开发了ISG-Agent，一种采用“计划-执行-精炼”管线调用工具的基线智能体，实现了122%的性能提升。
引用
@article{arxiv.2411.17187,
title = {Quantum Orbital-State Control of a Neutral Nitrogen-Vacancy Center at Millikelvin Temperatures},
author = {Hodaka Kurokawa and Shintaro Nakazato and Toshiharu Makino and Hiromitsu Kato and Shinobu Onoda and Yuhei Sekiguchi and Hideo Kosaka},
journal= {arXiv preprint arXiv:2411.17187},
year = {2026}
}