合成数据是什么？大模型训练为什么越来越离不开它

去年年底，一个做数据标注的朋友跟我诉苦，说接的活越来越少，客户话里话外的意思是要「自己造数据」。他说的这个「造」，就是合成数据。

合成数据，简单说就是不是人写、人拍、人录的，而是用程序或者模型生成出来的数据。举个例子：数学题。想让模型会做数学题，可以写个程序随机出题，再让程序验算答案，对的一批留下来当训练数据——这就是典型的合成数据。再比如对话数据，让两个模型互相问答，一个提问一个回答，生成几千上万轮，挑质量好的用。图片也一样，3D渲染出来的场景、扩散模型生成的图，都算。

那为什么大厂越来越依赖它？两个原因，一个是互联网上的好数据快被吃完了。Common Crawl抓了那么多年的网页，文本量看着吓人，但高质量的中文数据其实没多少，重复的、机器翻译的、垃圾营销的一堆。另一个是人工标注实在太贵。一条高质量标注从几毛钱到几块钱不等，大模型训练动辄上千亿的token，全用人工标，那成本算出来是天文数字。

合成数据用得最出名的一次，就是DeepSeek-R1。它用了大量合成推理数据配合强化学习训练，数学和推理能力直接追上甚至超过了不少闭源模型。更早的Alpaca也是这个路子，那5万多条指令数据就是用GPT-4生成的，成本低到可以忽略。做训练数据生成有个规律：越是答案能自动验证的领域，合成数据越靠谱，数学、代码、翻译都行；越是主观的领域，比如写文章的风格偏好，合成数据越容易跑偏。

但合成数据有个著名的坑，叫模型坍缩。简单说，就是拿AI生成的内容再喂给下一代AI，一代不如一代，数据里的「尾巴」——那些罕见但重要的样本——会慢慢消失。所以现在的做法都是混合的：真实数据打底，合成数据做补充，生成完还要过滤、抽检，不能闭着眼睛全收。

到了2026年，合成数据已经是后训练的标配了，尤其是推理类模型。这事对做内容的人也有个提醒：AI生成的内容越来越便宜，搜索引擎和AI搜索都在收紧对低质AI内容的容忍度，反而是真实、原创、有独家信息的内容越来越值钱。你网站上的每一篇原创文章，本质上都是「真实数据」，这在AI训练数据荒的背景下，本身就是资产。

所以不用怕什么「AI把数据吃光了」的末日论。只要真实的人类内容还在源源不断产生，模型就饿不死。真正该想清楚的是：你写的东西，到底是合成数据级别的，还是别人愿意引用的真实数据？

标签： 合成数据 大模型 AI训练 模型坍缩 DeepSeek