唤醒盲区：无监督代理轨迹的冷启动优化与 grounded 视觉感知
人工智能
2026-04-21 v1 计算与语言
机器学习
摘要
小型视觉语言模型(SVLM)作为高效任务控制器，常因视觉脆弱性和工具编排不佳而受限，通常需要昂贵的监督式轨迹调优才能缓解这些缺陷。本文提出Self-supervised Perception Enabled by Cascaded Tool Rollout Alignment(SPECTRA)，一个无监督框架，通过Coldstart强化学习为SVLM引导代理能力。SPECTRA强制执行Soft Structured Multi-turn Rollouts，即拓扑约束，使代理必须在综合前显式排序工具派生证据，从而将推理锚定在视觉观察上。我们采用多目标奖励信号，同时最大化任务正确性、轨迹结构和工具效用，使代理能够在无需人类偏好标签的情况下自主发现鲁棒行为。我们进一步引入工具仪器效用(TIU)，用于在无真实值情况下的量化工具效果。广泛的基准测试(包括组合基准和分布外(MMUU-Pro)数据集)表明，SPECTRA提升了代理轨迹，使任务准确率提升最高5%，工具效率提升9%，使能够仅通过环境交互学习的多模态代理更高效。
引用
@article{arxiv.2604.17475,
title = {Waking Up Blind: Cold-Start Optimization of Supervision-Free Agentic Trajectories for Grounded Visual Perception},
author = {Ashutosh Bajpai and Tamal Majumder and Akshay Nambi and Tanmoy Chakraborty},
journal= {arXiv preprint arXiv:2604.17475},
year = {2026}
}
备注
ACL 2026 Findings