奇异果体育关注到以下体育动态：
一台只有8GB显存的笔记本，跑35B参数的模型，速度从每秒4个token拉到每秒32个token。
靠的不是换显卡，是设置。
本地跑大模型的硬件门槛，其实没有大多数人想的那么高。
真正拖慢速度的，往往是那些一键式运行时替你做的默认决定。
Ollama和LM Studio这类工具把安装流程压到几乎零摩擦，代价是它们替你决定了模型如何在GPU和系统内存之间切分、上下文占多少内存、哪些优化被关掉。
llama.
cpp是另一条路。
Ollama和LM Studio的推理引擎本身就是llama.
cpp，但很多调优开关被埋在设置里，或者干脆没有提供。
这也是有人坚持直接用llama.
cpp的原因。
第一招：把专家层挪出显存 混合专家（MoE）模型的大部分权重以专家池的形式存在，但每次推理只有少数几个专家参与计算。
这意味着专家层是模型里最适合搬离GPU的部分。
llama.
cpp的 --n-cpu-moe 参数可以把指定层数的专家放到系统内存，其余部分继续留在显存里。
在一台配备32GB DDR4-3200内存的Legion 5 Pro上，Qwen3.
6-35B-A3B在UD-IQ4_XS量化下、完全不卸载时只有 4.
02 tokens/秒 ；
把--n-cpu-moe设为28之后，速度升到 32.
82 tokens/秒 ，是原来的八倍。
LM Studio为这个功能提供了专门的滑块，Ollama目前则完全不允许用户设置。
第二招：给稠密模型配一个草稿模型 稠密模型没有可以外移的空闲部分——每次前向计算都会触碰全部权重，所以专家卸载那一招对它无效。
这时候可以用投机解码。
思路是让一个更小的草稿模型先写出接下来几个token，目标模型再一次性审阅整批结果，保留自己本来也会写的内容，从第一个被否掉的token开始接管。
Gemma 4把这一机制称为多token预测（MTP），谷歌为它提供了配套的草稿器。
实测配置是Unsloth的Gemma 4 12B QAT版本，搭配242MB的MTP草稿器，上下文32K。
草稿器本身要占几百MB显存，需要提前算进去。
专家卸载和草稿模型只是起点。
KV缓存量化、上下文长度调优、选对量化格式，都还有继续压榨的空间。
全部配完之后，得到的模型不联网也能用，数据不出本机。
特别
以上内容由奇异果体育整理发布。
