帖文详情
avatar
@nekoharuya@pawoo.net

chatgpt有这样的瓶颈,我们知道,模型本身是没有记忆的,你输入一条文本,它根据这个文本,吐出来一条新的,仅此而已,为了维持会话上下文,就需要将前文全部输入进去,这就导致了两个问题,一个是对tokens的巨大消耗,对openai来说就是服务器成本更高了,第二个是,上下文太长,导致tokens被稀释,比如你聊了半天,模型突然开始回你一开始的问题而不理你最新的消息了,通常的做法是写提示词,但是效果不是特别好,为了解决这个问题,就有了记忆库, 记忆库就是让ai把聊天内容,抽象总结,减少每次要处理的文本量,我去年就写过了,md山姆奥特曼要不给我磕一个

查看详情
0
0
0
avatar
@luna@maid.lat

@nekoharuya@pawoo.net 没记忆是巨大的缺陷 就算有zero shot 也作用不大

查看详情
0
0
0
avatar
@nekoharuya@pawoo.net

@luna 我们去年玩的更复杂一点,除了基础的提示词链条和内容总结,我们还搞了套向量数据库和意图识别,又建表立档案,套了一点goap的思路,提取内容改变决策要用到世界状态,又反过来用这个辅助决策,chatgpt这才哪到哪,md

查看详情
0
0
0
@nekoharuya@pawoo.net
0/478
加载中