ANSEL Photobot：具备语义智能的机器人活动摄影师
机器人学
2023-02-17 v1
摘要
我们的工作考察了大型语言模型如何用于机器人规划与采样，具体针对自动化摄影记录这一情境。具体而言，我们展示了如何利用近期通用语言模型（LM）与视觉-语言模型（VLM）的进展，制造出具有极高语义感知水平的拍照机器人。给定对某一活动的高层描述，我们使用 LM 生成一份自然语言照片描述清单，即人们预期摄影师在该活动中应捕捉的画面。随后，我们使用 VLM 在机器人的视频流中识别与这些描述最匹配的画面。由我们方法生成的照片集在人类评估者看来，始终比现有方法生成的照片集更贴合活动情境。
引用
@article{arxiv.2302.07931,
title = {ANSEL Photobot: A Robot Event Photographer with Semantic Intelligence},
author = {Dmitriy Rivkin and Gregory Dudek and Nikhil Kakodkar and David Meger and Oliver Limoyo and Xue Liu and Francois Hogan},
journal= {arXiv preprint arXiv:2302.07931},
year = {2023}
}
备注
ICRA 2023