UCloud开源首个GLM-5.2-FP8 DFlash drafter 旨在实现‌无损推理加速

近日，UCloud正式开源了首个GLM-5.2-FP8 DFlash drafter，并同步公开完整训练数据。DFlash引入了Block Diffusion思路，不再逐Token生成，而是一次前向计算直接生成一个Token Block。在降低推理成本的同时，带来更高的吞吐表现。

点击进入：UCloud官网

GLM-5.2-FP8 DFlash drafter是一个3.7B参数的轻量block-diffusion模型（独立训练参数1.8B，embed/lm_head复用target权重、不参与训练），在保持输出严格一致（lossless）的前提下，单请求场景下可实现最高4.29×的端到端加速（较无投机解码基线，MBPP实测），已支持SGLang部署。

GLM-5.2是一个743B参数（39B激活）的超大MoE模型，每生成一个Token都需要执行一次完整的前向计算，推理成本高昂。投机解码用一个轻量drafter提前给出候选Token，由target模型一次性并行验证——验证通过则直接采用，不通过则退回逐Token生成，不改变最终输出分布。

DFlash用一个轻量block diffusion模型替代传统投机解码里逐Token自回归生成的小模型drafter，以target模型的中间层hidden states作为生成条件：

其核心优势有两点：draft阶段单次前向生成一整个block，起草开销显著降低;同时drafter以target的中间层表征为条件，候选Token与target输出分布更一致，acceptance length因此高于纯自回归drafter。

研究表明，自回归模型生成当前Token时，其hidden states中已隐含对后续若干Token的预测信息，但通常未被显式利用（Uncovering LLMs’Multi-Token Prediction Potential https://arxiv.org/abs/2507.11851）。DFlash将target的这部分信息直接注入drafter的KV cache，使drafter无需独立理解语言或世界知识，仅依据target提供的条件信息生成候选block——这也是本模型仅用5层transformer、单步去噪即可达到当前效果的原因。

SGLang serving实测(greedy，与z-lab模型卡同口径)，六个基准的Acceptance Length与吞吐：

基准	DFlash AL(接受长度)	内置 MTP AL	DFlash 吞吐 tok/s(并发1→32)
MBPP	8.04	5.23	478 → 4653
MATH500	7.77	4.91	477 → 5195
HumanEval	6.43	4.42	383 → 4112
GSM8K	4.44	4.01	236 → 1737
MT-Bench	3.56	3.71	220 → 1750
C-Eval	2.98	3.65	177 → 1119

与GLM-5.2内置MTP(官方推荐配置EAGLE steps5/topk1/draft6，已是强基线)相比，DFlash在代码与数学负载上端到端快1.4-1.5倍(GSM8K 1.51×、MATH500 1.54×、MBPP 1.46×、HumanEval 1.42×)；开放对话与中文负载上两者接近(内置MTP略优)。本模型定位为代码/数学场景优化的drafter。

与无投机解码的基线相比，单请求（并发1）场景下端到端加速比为：

基准	无投机(vanilla) tok/s	DFlash tok/s	加速比
MBPP	111.4	478	4.29×
MATH500	111.5	477	4.28×
HumanEval	111.3	383	3.44×
GSM8K	106.4	236	2.22×
MT-Bench	110.7	220	1.99×
C-Eval	109.3	177	1.62×

快速上手：

python -m sglang.launch_server \ --model-path zai-org/GLM-5.2-FP8 \ --speculative-algorithm DFLASH \ --speculative-draft-model-path UCloud-org/GLM-5.2-FP8-DFlash \ --speculative-num-draft-tokens 16 \ --tp-size 8 \ --trust-remote-code

from openai import OpenAIclient = OpenAI(base_url="http://localhost:30000/v1", api_key="EMPTY")response = client.chat.completions.create( model="zai-org/GLM-5.2-FP8", messages=[{"role": "user",- "content": "写一个快速排序"}], extra_body={"chat_template_kwargs": {"enable_thinking": False}},)