FlexiFly：借助可重构无人机系统赋能基础模型以连接物理世界

基础模型 (FM) 在生成数字媒体方面展现出了极强的类人能力。然而，能够自由感知、交互并作用于物理领域的基础模型仍远未实现。原因在于：1) 需要密集部署传感器以完全覆盖并分析大范围空间；2) 事件通常局限于小区域，使得 FM 难以精确定位与当前任务相关的感兴趣区域。我们提出 FlexiFly，这是一个使 FM 能够“放大”并以更高粒度分析相关区域，从而更好地理解物理环境并执行任务的平台。FlexiFly 的实现通过引入：1) 一种有助于识别相关位置的新型图像分割技术；2) 一个模块化且可重构的传感与驱动无人机平台，FM 可以驱动该平台利用相关传感器和执行器进行“放大”。我们通过真实的智能家居部署证明，FlexiFly 使 FM 和 LLM 成功完成各种任务的比例提升了高达 $85\%$。FlexiFly 是迈向能够自然连接物理世界的 FM 和 LLM 的关键一步。