关键词： #本地AI大模型 #Qwen3.8 #2080Ti 22G #大模型速度测试

废话(请跳过)

>最近Qwen3.8-27B发布，在模型社区取得了相当好的反响，毫无悬念地直接冲到HuggingFace榜一，刚好手头有一台22G显存的小服务器在跑AI，肯定是要试试水的，就拿Q4_K_M量化版本来跑了下测试，希望能给大家提供一个参考。HuggingFace中该模型名为：【JonathanColetti/Qwen3.8-27B-Uncensored-GGUF】

>本文中的测试内容不包含不同量化的性能对比，仅仅是不同配置下的生成速度对比，关于性能您可以另寻它文

硬件配置清单

经过实测，22G显存部署 Qwen3.8-27 模型 Q4_K_M 量化，关闭MTP的情况下只能跑到最高240K上下文，无法达到256K的满血

在开启不同档位MTP，输入上下文长度为127K的情况下，模型出现了不同程度的显著掉速或崩溃，为了保险起见所有开启MTP的测试均将最长测试上下文长度设置为96K

一、上下文对生成速度的影响

在不开启MTP的情况下，Qwen3.8-27B Q4_K_M 在 2080Ti 22G 显卡上的表现就算不说是惨不忍睹也算是难以使用了

模型的生成速度随着上下文的增长接近线性下降，尤其是在上下文 236K 附近时生成速度跌至 10token/s 以下，不能满足日常编程需求

二、MTP对生成速度的影响

开启MTP后，模型生成速度有了明显改善，尤其是MTP n-max1，输入上下文长度 2K 时，生成速度达到了40token/s，相较MTP关时提升了48%

但是开启MTP后，上下文长度成了不可绕过的硬伤，96K的上下文只适合用于制作一些小项目或是文学类创作，不适合用于大型编程项目

测试方法：

1. 固定底座：-ngl 999 --no-mmap + KV q4_0 + --spec-draft-p-min 0.05，每次只变 n-max 或 ctx。

2. 切换后两步：重启等 health ok，journal 确认 draft acceptance 出现（健康≠生效）。

3. 预热 2 次 → 校准 tok/char（随机中文实测 ≈1.76，须在 1.2~2.2 区间）。

4. 构造 prompt：随机汉字（勿用重复文本，会被 BPE 压缩），每点换 seed 防缓存；prompt 长度 = ctx×填充率（MTP 组 0.90~0.92，0.97 会 OOM）。

5. 测速：每档 2 次取中位数，速度只认 API timings.predicted_per_second，同时记录 acceptance（速度=基础×(1+n×acc)）。

6. 可疑点加测到 6 次——acceptance 是彩票，单次速度差可达 2 倍。

7. 上限两层验证：health ok ≠ 能服务，必须发真实大请求（127K prompt 实测 OOM），过了才算数。

8. 收尾：恢复生产配置，用 ps 核对实际启动参数。