AI百科 我拿一个7B模型跑了LoRA和全参微调,差距比想象的小 周末干了一件事:把Qwen2.5-7B模型用我自己写的200篇博客文章做微调,分别试了全参微调和LoRA两种方式。结论先说:LoRA的效果比我想的好,全参微调的成本比我想的高。 实验环境 租了RunP... AI百科 2026-07-31 110 #LoRA #大模型微调 #AI科普 #全参微调 #QLoRA
AI百科 LoRA微调:几个MB的文件凭什么改变几十GB的大模型 你有一个70B参数的Llama模型,文件大小快150GB。你想让它学会写你个人风格的公众号推文——用词习惯、断句节奏、那个你最爱用的「说白了」。全量微调?一块H100跑得动,但光显存就得吞下600GB... AI百科 2026-07-17 139 #LoRA #AI训练 #大模型 #微调技术