讲Transformer的文章一堆，但大部分要么全是数学公式把人吓跑，要么用「注意力机制是AI的魔法」这种废话糊弄过去。我想试试用完全不涉及公式的方式，把Transformer到底在干嘛讲清楚。
先记住八个字：看上下文，算权重，猜下一个。
这八个字就是Transformer的全部工作。它不会理解文字——它只是训练了一个极其复杂的函数，输入是一串文字，输出是接下来最可能出现的字是什么。
但为什么GPT-4这样基于Transformer的东西能写出看起来理解你问题的回复？关键就在第一步——看上下文。
传统的AI处理文字是一个字一个字按顺序读。比如「I love you」，它先看I，再看love，再看you。问题是，到you的时候，I的信息已经衰减了——模型基本忘了前面有什么。
Transformer做了一个暴力但有效的改变：同时看整句话里的所有字，然后计算每个字跟其他每个字之间有多少关系。
还是「I love you」的例子。Transformer会算：I和love之间关系有多强？I和you之间呢？love和you之间呢？结果是——I和love关系很强，love和you也很强，但I和you直接关系没那么强，因为中间隔了love。
这个「计算任意两个字之间关系有多强」的操作就叫——注意力（Attention）。而「同时对所有字做这种计算」就叫——自注意力（Self-Attention）。
你可能会问：同时看所有字，那顺序怎么办？「我爱你」和「你爱我」完全是两个意思。答案很土但管用：在把文字喂给Transformer之前，给每个字加上一个位置编号。模型不是靠顺序读来理解位置，而是直接看编号——I在第1位，love在第2位——简单粗暴。
GPT系列（GPT-3、GPT-4）用的是Transformer的解码器部分。解码器的工作就是：拿到前面所有的字，预测下一个字。给定「The cat sat on the」，预测下一个是mat（概率最高），也可能是floor（概率低一点）。
所以ChatGPT不是搜索数据库找到答案，而是基于训练数据里见过的所有文字模式，逐字生成最可能的回复。每生成一个字，就把它加到上下文里，再预测下一个。直到生成一个结束标记。
这就是为什么你会看到它偶尔编造信息——大模型本质上是一个概率预测器，不是知识库。当训练数据里关于某个话题的信息稀疏时，模型只能猜，猜错了就是幻觉。
为什么7B、70B、175B（B=十亿）这些参数大小这么重要？参数你可以理解成模型的记忆力单元。7B大概能记住相当于7000本书的信息量，175B大概能记住17万本书。参数越多，处理语言的能力越强，但成本也呈指数增长。
2026年的趋势是大模型变小——不是真的用更小的模型，而是通过知识蒸馏，把大模型的能力压缩到小模型里。手机上跑的7B模型，性能已经接近两年前的70B模型了。
最后一句：Transformer是2017年一篇论文提出来的，当时没人想到这东西后来会变成ChatGPT。技术史上很多大事都这样——论文发表了，然后八年之后全世界都在用。
标签： ai Transformer 大模型 ChatGPT 深度学习
还木有评论哦，快来抢沙发吧~