中文

TVWorld:遥控电视智能体的基础

计算机视觉与模式识别 2026-01-21 v1 人工智能 计算与语言

摘要

近期的大型视觉语言模型(LVLMs)已展现出在设备控制方面的巨大潜力。然而,现有研究主要聚焦于点击(PnC)交互,而日常电视使用中常见的遥控(RC)交互在很大程度上仍未被探索。为填补这一空白,我们引入了 \textbf{TVWorld},这是一种基于图的真实世界电视导航离线抽象,可实现可复现且无需部署的评估。在此基础上,我们衍生出两个互补的基准测试,以全面评估电视使用能力:用于拓扑感知导航的 \textbf{TVWorld-N} 和用于焦点感知定位的 \textbf{TVWorld-G}。这些基准测试揭示了现有智能体的一个关键局限:在基于焦点的长时程电视导航中拓扑感知不足。受此发现启发,我们提出了一种 \emph{Topology-Aware Training}(拓扑感知训练)框架,将拓扑感知注入 LVLMs。利用该框架,我们开发了专为电视导航定制的基座模型 \textbf{TVTheseus}。TVTheseus 在 TVWorld-N 上取得了 68.3%68.3\% 的成功率,超越了 Gemini 3 Flash 等强大的闭源基线,并确立了 state-of-the-art (SOTA) 性能。补充分析进一步为开发有效的电视使用智能体提供了有价值的见解。

关键词

引用

@article{arxiv.2601.13142,
  title  = {TVWorld: Foundations for Remote-Control TV Agents},
  author = {Zhantao Ma and Quanfeng Lu and Shuai Zhong and Dahai Yu and Ping Luo and Michael K. Ng},
  journal= {arXiv preprint arXiv:2601.13142},
  year   = {2026}
}