ChatGPT能否从一周的第一人称视频中了解我的生活?
计算机视觉与模式识别
2025-04-08 v1 人工智能
机器学习
摘要
受生成式人工智能和可穿戴摄像设备(如智能眼镜和AI别针)近期进展的启发,我研究了基础模型通过第一人称摄像数据了解佩戴者个人生活的能力。为了测试这一点,我在一周内佩戴摄像耳机共54小时,生成了不同长度的摘要(例如分钟级、小时级和天级摘要),并在得到的摘要层级上对GPT-4o和GPT-4o-mini进行了微调。通过查询微调后的模型,我们能够了解模型学到了关于我的什么信息。结果喜忧参半:两个模型都学到了关于我的基本信息(例如大致年龄、性别)。此外,GPT-4o正确推断出我住在匹兹堡,是CMU的博士生,是右撇子,并且养了一只宠物猫。然而,两个模型也都存在幻觉问题,会为我生活中视频片段里出现的人物编造名字。
引用
@article{arxiv.2504.03857,
title = {Can ChatGPT Learn My Life From a Week of First-Person Video?},
author = {Keegan Harris},
journal= {arXiv preprint arXiv:2504.03857},
year = {2025}
}