Any-to-Any 模型在模态转换间是否比专用模型更一致？
计算与语言
2025-06-02 v1
摘要
Any-to-any 生成模型旨在统一框架内实现跨多种模态的无缝解释与生成，然而其跨模态保持关系的能力仍不确定。统一模型是否真正实现了跨模态一致性，还是这种一致性仅仅是表面上的？为了探究这一点，我们引入了 ACON，一个包含 1,000 张图像（500 张为新贡献）的数据集，配有标题、编辑指令和问答对，以严格评估跨模态转换。使用三种一致性标准——循环一致性、前向等变性和共轭等变性——我们的实验表明，在诸如循环一致性等逐点评估中，any-to-any 模型并未始终比专用模型展现出更高的跨模态一致性。然而，等变性评估通过由多次编辑操作启用的中间潜空间的结构化分析，揭示了微弱但可观察到的一致性。我们在 https://github.com/JiwanChung/ACON 发布了我们的代码和数据。
引用
@article{arxiv.2505.24211,
title = {Are Any-to-Any Models More Consistent Across Modality Transfers Than Specialists?},
author = {Jiwan Chung and Janghan Yoon and Junhyeong Park and Sangeyl Lee and Joowon Yang and Sooyeon Park and Youngjae Yu},
journal= {arXiv preprint arXiv:2505.24211},
year = {2025}
}