面向寿命认知系统的探索
计算与语言
2025-01-22 v2
摘要
构建一个能够持续与复杂环境（无论是模拟的数字世界还是人类社会）进行高频交互的类人系统, 存在诸多关键挑战。其中核心在于实现持续且高频的交互, 这些交互被称为经验。我们将这种 envisioned 系统称为寿命认知系统 (LifeSpan Cognitive System, LSCS)。LSCS 的关键特征在于能够进行增量且快速的更新, 同时保留并准确记忆过去的经验。本文聚焦于大型语言模型 (Large Language Models, LLMs), 我们确定了两个主要挑战: (1) 抽象与经验合并, (2) 长期保持与准确记忆。这些属性对存储新经验、组织过去的经验以及以利用相关历史数据的 ways 回应环境至关重要。不同于通常依赖大规模语料进行微调、聚焦于特定领域或任务性能提升的持续学习语言模型, LSCS 必须在高频率下快速且增量地更新以适应环境中的新信息。现有技术可根据一种称为存储复杂度 (Storage Complexity) 的概念指标进行分类, 该指标衡量存储过去经验所需空间的相对大小。每一类技术都有各自的优势与局限, 我们认为单独使用其中任何一类技术都无法实现 LSCS。为此, 我们提出一种可能的 LSCS 实现方案, 能够集成所有四类技术。这种新的实现方案作为一种猜想, 通过两个核心过程运行: 吸收经验与生成响应。
引用
@article{arxiv.2409.13265,
title = {Towards LifeSpan Cognitive Systems},
author = {Yu Wang and Chi Han and Tongtong Wu and Xiaoxin He and Wangchunshu Zhou and Nafis Sadeq and Xiusi Chen and Zexue He and Wei Wang and Gholamreza Haffari and Heng Ji and Julian McAuley},
journal= {arXiv preprint arXiv:2409.13265},
year = {2025}
}