AI到底怎么学会说话的？大语言模型原理用大白话讲给你听

先说一个很多人都有过的经历。2023年初ChatGPT刚火的时候，我第一次用，问它写一首关于西安的七言绝句，它真给我整出来一首，还押韵。当时我第一反应不是好厉害，而是这玩意儿怎么做到的。

后来花了不少时间研究，发现原理其实没那么玄乎。用一句话概括：大语言模型就是一个超级接龙机。

什么叫接龙机？你给它一句话今天天气真，它猜下一个字应该是好。你再给它今天天气真好适合出去玩，它猜玩或者走走。就这么简单——预测下一个字。

但一个小接龙机没什么用。让它变聪明的，是三个东西凑在一起：海量数据、超大规模、和人类反馈。

第一，数据量大到离谱。GPT-4的训练数据据说有几万亿个词。相当于把整个互联网上的公开文本全读了一遍。网上所有的文章、书籍、代码、维基百科、论坛帖子，它都见过。所以它知道的东西多——不是真的理解，是见得太多了。

第二，模型够大。大语言模型的大指的是参数数量。参数你可以理解成脑细胞。人脑有大约860亿个神经元，GPT-4据说有1.8万亿个参数。当然这不是说它比人聪明——数量不是这样比的——但参数多了，就能捕捉到更复杂的语言规律。

第三，人类教它什么是好答案。这一步特别关键。早期的模型就是纯接龙，经常胡说八道。后来OpenAI用了一种叫RLHF（人类反馈强化学习）的方法：让人给它的回答打分，回答得好的加分，回答得烂的扣分。反复几万次以后，模型就学会说什么样的话人类喜欢。这也是为什么ChatGPT出来以后，感觉比之前的AI懂事得多。

所以大语言模型既不是真的理解语言，也不是在思考。它只是在海量文本里学到了什么词后面通常跟什么词的规律。但这个规律足够丰富，丰富到能回答问题、写文章、编代码，甚至通过律师资格考试。

有个比喻我很喜欢。就像你听过几百万首歌以后，即使不懂乐理，也能哼出一段听起来还不错的旋律。大语言模型就是听了太多文字，以至于能哼出一段像样的回答。

那它有没有局限？当然有，而且还不少。

最大的问题是幻觉——一本正经地胡说八道。因为它本质是接龙，不知道自己说的是对是错。你问它某个名人的出生地，它可能编一个听起来合理但完全错误的地点。因为训练数据里可能没有准确的信息，但有很多人名加地名的组合，它接龙接错了。

其次是逻辑推理不行。你让大模型做复杂的数学推理或者多步骤的逻辑分析，它经常翻车。不是因为它笨，是它的运作方式决定了它不擅长这个。最近DeepSeek-R1和OpenAI的o1系列在做的事情，就是给模型加思考时间，让它先想再答，效果好了一些。

还有一个容易被忽略的问题：知识截止日期。大多数模型的训练数据有一个截止时间。GPT-4的知识到2023年底，之后发生的事它不知道——除非联网搜索。

理解这些原理以后，用AI的时候就不会把它当神。它是一个超级强大的工具，但工具就是工具。知道它能干什么、不能干什么，才能用得好。

标签： 大语言模型 AI科普 ChatGPT LLM原理 人工智能