5 个课次
注意力的算术
注意力的算术
课程目录
- 第 1 课 Attention relationship —— N² 的关系网
- 第 2 课 Attention budget —— 每个 token 的影响力预算
- 第 3 课 Attention degradation —— 为什么指令会「失灵
- 第 4 课 Smart zone 与 Dumb zone
- 第 5 课 恢复方式是删上下文，不是加内容
本讲给出「会话越长越笨」背后的那个数字。预测每个 token 时，模型要权衡窗口里所有其他 token——N 个 token 产生约 N² 组注意力关系，而每组关系还会被几十个头各算一遍。真正重要的那些配对（你的指令与它管的那段代码）数量基本恒定，而总池子随上下文平方增长：一千 token 时它是一百万分之一，十万 token 时它是百亿分之一。这就是注意力预算的算术——每个 token 的影响力是固定的，上下文越长，信号越被噪音稀释；它感受起来就是注意力退化，以及智能区滑向笨区。最反直觉的一点：恢复靠删上下文，不靠加。
跟谁学习
作者介绍
创作者：苏震巍
具备工程一线的实践经验，也擅长把抽象概念讲得清楚——不堆砌术语，而是从现象出发，先说清「这是什么」，再解释「为什么会这样」，最后落到「实际该怎么用」。他的内容兼顾严谨与可读，适合零基础读者建立完整的知识框架，也适合从业者梳理已有认知。
最终成果
结课作品
暂无