SToLa：面向开放式场景的自适应触觉-语言框架与触觉常识推理
计算机视觉与模式识别
2026-03-03 v2
摘要
本文探讨了将触觉感知集成到智能系统中进行多模态推理的挑战，特别是在实现对开放式物理世界的常识推理方面。我们识别出两个关键挑战：模态差异，即现有的大型触觉-语言模型通常将触觉仅仅视为语言的一个子模态；以及开放式触觉数据稀缺，即当前数据集缺乏推理所需的多样性、开放性和复杂性。为克服这些挑战，我们引入了SToLa，一个自适应触觉-语言框架。SToLa利用专家混合（MoE）动态处理、统一和管理触觉与语言模态，捕捉它们各自独特的特性。至关重要的是，我们还提出了一个全面的触觉常识推理数据集和基准，具有自由形式的问题与回答、8种物理属性、4种交互特性以及多样化的常识知识。实验表明，SToLa在PhysiCLeAR基准和自建数据集上展现出与现有模型相比具有竞争力的性能，证明了专家混合架构在多模态管理中的有效性以及在开放场景触觉常识推理任务中的性能优势。
引用
@article{arxiv.2505.04201,
title = {SToLa: Self-Adaptive Touch-Language Framework with Tactile Commonsense Reasoning in Open-Ended Scenarios},
author = {Ning Cheng and Jinan Xu and Jialing Chen and Bin Fang and Wenjuan Han},
journal= {arXiv preprint arXiv:2505.04201},
year = {2026}
}
备注
Accepted by AAAI 2026