跨模态模型交叉偏差的基于物理的现象学特征
人工智能
2026-02-25 v1 统计力学
摘要
‘算法公平性’一词用于评估 AI 模型在比较性（公平性被理解为形式上的平等，如'对类似案例要像对待相同'）和非比较性（不公平性源于模型的不准确性、任意性或不可解释性）情境下的公平性。近期进展表明，多模态大语言模型（MLLM）在多模态理解、推理和生成方面正迎来新突破；然而，我们认为，源于复杂多模态交互动力学所产生的隐蔽扭曲可能导致系统性偏差。本位论述文献的目的是两方面：其一，旨在让 AI 研究者熟悉依赖机器在训练/推理过程中所经历物理实体所揭示的现象学可解释方法，区别于传统的认知主义符号主义方法或形而上学方法；其二，旨在表明这种现象学主义将在实际中解决 MLLM 的算法公平性问题方面具有实际价值。我们构建了一个基于物理的代理模型，用以描述 transformer 的动力学（即语义网络结构和自/跨注意力机制），以分析 MLLM 中跨模态偏差的动力学，这些偏差未被常规的嵌入或表征层级分析所完全捕捉。我们通过多输入诊断实验支撑此观点：1）针对 Qwen2.5-Omni 和 Gemma 3n 的情感分类进行扰动分析；2）通过物理代理模型进行 Lorenz 混沌时间序列预测的动力学分析。在两个架构结构不同的 MLLM 上，我们展示，多模态输入可以加剧模态主导效应，而非缓解它，这一现象通过在系统性标签扰动下观察到的结构化误差吸引子模式得以揭示，并辅以动力学分析。
引用
@article{arxiv.2602.20624,
title = {Physics-based phenomenological characterization of cross-modal bias in multimodal models},
author = {Hyeongmo Kim and Sohyun Kang and Yerin Choi and Seungyeon Ji and Junhyuk Woo and Hyunsuk Chung and Soyeon Caren Han and Kyungreem Han},
journal= {arXiv preprint arXiv:2602.20624},
year = {2026}
}
备注
Best Paper Award at BiasinAI track in AAAI2026