精品课程
Prefix cache 与缓存 token
本讲讲清一件让长会话从「贵得离谱」变成「可以接受」的机制:前缀缓存。会话是只追加的,每一次请求都在前一次的基础上多了几条消息,因此开头那一大段完全相同。提供方把这段共享前缀处理一次,存下来,后续命中就按缓存 token 计费——往往只有输入价的一成或更低。代价是它极其脆弱:精确前缀匹配,一旦中途有任何内容变化(改动了更早的消息、时间戳刷新、文件表示变化),缓存从那一刻起全部失效。缓存还会静默过期,闲置几分钟后恢复会话要先按全价重付一次。学完你会知道:账单突然跳涨时,先去对比 usage 报告里的缓存 token 与输入 token。
查看课程