大模型量化是什么？为什么7B模型能塞进手机

这两年手机厂商发布新机，都在吹一个卖点：AI大模型本地跑。你在自己手机上跟AI助手对话，它不联网也能回答，靠的就是手机里装了个「压缩过」的模型。这个压缩技术，就叫量化。今天用大白话把它讲明白。

先说模型为什么那么大。大模型本质上是一堆数字（参数）组成的，每个数字在计算机里占的存储空间，取决于它的「精度」。一般训练用的模型用16位浮点数存参数，一个70亿参数（7B）的模型，光参数就要占14GB左右。手机装不下。那如果把每个数字从16位压缩到8位、甚至4位呢？7B模型的体积就能从14GB压到7GB、再到3.5GB左右。这个「把数字精度降低来缩小体积」的过程，就是量化。打个比方，一张高清照片存成JPG，画质损失一点，但体积小了一大截，量化干的就是这事。

量化之后会发生什么？三个好处一个代价。好处一是体积小，手机、小内存电脑都能装。好处二是跑得快，数字位数少，计算量就小，生成速度明显提升。好处三是省电，端侧推理功耗更低。代价是精度损失：模型会「变笨一点点」，复杂推理、数学题、长逻辑链这些任务上，量化模型的准确率会比原版低几个点。所以在服务器上跑关键业务，还是用完整精度；端侧跑日常问答、摘要、翻译，量化版完全够用。

具体到操作，2026年想本地跑模型的站长或者开发者，最常用的工具是Ollama，一条命令就能下载量化好的模型跑起来，它用的GGUF格式就是专门为量化模型设计的。另一个常见格式是HuggingFace上的AWQ、GPTQ，各有各的适用场景：追求极致的体积压缩用INT4量化，想要精度和体积平衡用INT8。下载模型的时候，详情页一般会标Q4、Q8这样的字样，Q4就是4位量化，Q8就是8位量化，想要效果更接近原版就选Q8，内存紧张就选Q4。

最后提醒一句：量化不是万能的。有些任务，比如需要严格遵循格式的代码生成、涉及精确计算的场景，量化模型的失误率会明显上升。我的建议是，先用小模型试跑你的任务，如果错误率能接受，再考虑上量化方案，别一上来就为了省内存把所有任务都压到4位精度。

标签： 模型量化 大模型 端侧AI Ollama