MLLM-Fabric: 基于多模态大语言模型的纺织品排序与选择机器人框架
机器人学
2025-10-14 v2 人工智能
摘要
在机器人纺织品制造、服装生产和智能零售中，选择合适的纺织品对于满足功能和质量需求至关重要。我们提出了 MLLM-Fabric，一个利用多模态大语言模型（MLLM）进行纺织品排序与选择的机器人框架。该框架建立在多模态机器人平台之上，通过监督微调和解释引导蒸馏来对纺织品属性进行排序。我们还发布了一个包含 220 种多样化纺织品的数据集，每种纺织品都有 RGB 图像和同步的视觉-触觉及压力数据。实验表明，我们的 Fabric-Llama-90B 在属性排序和选择可靠性方面 consistently 优于预训练的视觉-语言基线。代码和数据集已公开于 https://github.com/limanwang/MLLM-Fabric
引用
@article{arxiv.2507.04351,
title = {MLLM-Fabric: Multimodal Large Language Model-Driven Robotic Framework for Fabric Sorting and Selection},
author = {Liman Wang and Hanyang Zhong and Tianyuan Wang and Shan Luo and Jihong Zhu},
journal= {arXiv preprint arXiv:2507.04351},
year = {2025}
}
备注
Accepted to IEEE Robotics and Automation Letters (RAL)