FlashQLA 接入 SGLang:GDN Prefill 实现与标准测试
将 FlashQLA 接入 SGLang,需要把高性能 GDN 算子放进服务框架已有的批处理、状态池和前缀缓存流程。本文介绍基于 SGLang 0.5.19 的接入实现,并用固定长度、随机张量和前缀复用等标准测试说明数值行为与性能结果。
接入位置:GDN 的 prefill/extend
FlashQLA 是基于 TileLang 的线性注意力内核库,包含 GDN chunked prefill 的优化实现。本次接入以 GDN prefill/extend 为切入点,继续使用 SGLang 的调度、Mamba state pool 和 prefix cache;decode、linear speculative verify 与 tree verify 使用 Triton。
配置沿用 SGLang 的
--linear-attn-prefill-backend,新增 flashqla 选项,不增加环境变量或独立配置文件。启动参数选择了 FlashQLA 适配器后,每次 extend 仍需根据本次输入和缓存需求决定实际执行后端。这里的 8192 指当前 prefill 调用的 packed token 总数,不是每个请求的原始 prompt 长度。混合 batch 会把多条序列打包;chunked prefill 会把长请求拆成多个调用;前缀命中后只计算新增部分。因此,单条短请求也可能随 batch 进入 FlashQLA,而一个很长的请求在缓存命中后可能只执行几十个 token 的 Triton extend。
实现:注册后端、适配输入与写回状态
沿用已有后端分派
实现新增
FlashQLAGDNKernel,位于 python/sglang/srt/layers/attention/linear/kernels/gdn_flashqla.py。LinearAttnKernelBackend 与 LINEAR_ATTN_KERNEL_BACKEND_CHOICES 注册 flashqla,GDNBackend 将其分配给 extend 路径,参数处理集中在 server_args.py。如果将
flashqla 设为基础 linear-attention 后端,decode 会解析为 Triton;显式传入 --linear-attn-decode-backend flashqla 则报错。实际分派关系为 decode=TritonGDNKernel、extend=FlashQLAGDNKernel、verify=TritonGDNKernel。对齐序列边界和 state layout
满足执行条件时,适配器调用
chunk_gated_delta_rule_fwd_h。关键参数与框架语义的映射如下。SGLang / 接入项 | FlashQLA 处理 |
packed 序列边界 query_start_loc | 转为 int64 cu_seqlens,描述 ragged batch |
GDN state layout | state_v_first=True |
Q/K 归一化 | use_qk_l2norm_in_kernel=True |
自动 context parallelism | auto_cp=True |
Mamba state | 保留原有 dtype,返回的 final state 写回对应 state pool slot |
state 的精度与 Q/K/V 的精度分别处理。标准验证覆盖 BF16/FP16 输入、FP32 state、非连续 cache slot 和变长序列,检查输出之外,也检查 final state 是否写到了正确位置。
prefix cache 决定是否需要回退
前缀缓存有时需要保存序列中间位置的 state。需要非对齐 intermediate checkpoint 时,适配器回退 Triton;对齐 checkpoint 且不需要额外 intermediate state 时,可以使用 FlashQLA 的 final state 完成写回。packed tokens 少于 8192、Q/K/V 不为 BF16/FP16,以及其他未满足调用前提的输入,也沿用 Triton。
这一设计把新后端的职责限制在可直接满足状态契约的调用上,让缓存复用和后续 decode 继续沿用已有语义。
启动方式与测试环境
本文使用包含上述接入实现的 SGLang 源码版本。标准服务测试的模型为 Qwen3.5-4B,GPU 为 H100,TP=1;运行环境记录如下。
组件 | 版本 |
SGLang | 0.5.19,包含 FlashQLA 适配实现 |
FlashQLA | 0.1.2+3b9f82a |
TileLang | 0.1.12 |
apache-tvm-ffi | 0.1.11 |
PyTorch | 2.13.0+cu130 |
以下示例沿用标准服务测试的状态缓存设置,模型路径用本地目录替代:
对照服务将 prefill 后端改为
triton。测试分别使用 8192、16384、32768 的 chunked prefill 配置;切换 chunk 大小时,通过 --chunked-prefill-size 显式设置。服务启动后的解析结果应为 decode=triton, prefill=flashqla, verify=triton。标准正确性测试:从状态到生成结果
内核输出与状态
内核测试覆盖 ragged prefill、FP32 state、非连续 cache slot、8192 以下回退、非对齐 checkpoint 回退,以及对齐 checkpoint 的 final-state 写回。
FlashQLA 与 Triton 在慢门、长序列输入下存在不同的浮点计算结果:诊断记录中 state 的绝对差约为 0.004,output 最大绝对差约为 0.031。实际执行 FlashQLA 的路径采用输出与 final state 余弦相似度大于 0.999 的判据;回退 Triton 的路径要求逐元素一致。
服务路由与前缀复用
阈值测试分别发送 8191 和 8192 token:前者走 Triton,后者调用 FlashQLA,两者均正常生成并继续 decode。前缀复用覆盖 8192-token 对齐边界和 8320-token 非对齐边界;随后追加 32 token,缓存命中分别为 8192 和 8320 token,实际 extend 长度均为 32。
非对齐请求还展示了 chunked prefill 的作用:8320-token 首次请求按 8192+128 执行。路由观测确认,需要 intermediate state 时使用 Triton,对齐且只需 final state 的路径使用 FlashQLA。
真实模型的 logprob 与 greedy 对照
数值对照固定
temperature=0、max_new_tokens=32、ignore_eos=true,双方使用相同输入 token IDs。冷缓存用例前清空缓存;prompt 首 token 的未定义 logprob 不参加差分统计。服务判据同时约束数值与输出:prompt/output logprob 为有限值,32-token greedy 输出 ID 和文本完全一致,mean absolute logprob difference 不超过 0.01,max absolute difference 不超过 0.15。这些是服务层直接使用的判据,与内核余弦相似度分别衡量。
用例 | 可比较 prompt logprob 数 | prompt mean abs | prompt max abs | output mean abs | output max abs | greedy |
短输入 64 token | 63 | 0 | 0 | 0 | 0 | 一致 |
8191 token | 8190 | 0 | 0 | 0 | 0 | 一致 |
8192 token | 8191 | 0.007649 | 0.091773 | 0.008877 | 0.019743 | 一致 |
32K token | 32767 | 0.000802 | 0.073139 | 0.000881 | 0.002558 | 一致 |
128K token | 131071 | 0.009670 | 0.060179 | 0.007794 | 0.022985 | 一致 |
混合 batch:512 token | 511 | 0.000636 | 0.017146 | 0.000673 | 0.002195 | 一致 |
混合 batch:8192 token | 8191 | 0.002802 | 0.028135 | 0.003095 | 0.009244 | 一致 |
混合 batch:32768 token | 32767 | 0.004376 | 0.140758 | 0.003261 | 0.007629 | 一致 |
所有表内用例的 greedy 输出均一致。最大的 mean absolute difference 为 0.009670,最大的 max absolute difference 为 0.140758。单独运行的短输入和 8191-token 输入精确一致;混合 batch 中的 512-token 序列出现非零差异,也说明路由判断取决于 packed batch,而非单条序列长度。
缓存复用还分别比较 cold、seed 和 reused 三个阶段。8192+32 与 8320+32 两组请求在后端内及跨后端比较中均保持 greedy 一致;FlashQLA 服务 cold/reused 的 prompt mean absolute difference 分别为 0.004296、0.002678,output mean absolute difference 分别为 0.003786、0.003161。
linear speculative 与 tree verify 的代表性请求均完成,dispatcher 保持 verify=TritonGDNKernel。该检查用于确认阶段分派隔离。
标准性能测试:chunk 大小怎样影响服务收益
固定矩阵覆盖 4096、6144、8191、8192、12288、16384、32768、131072 token,并发为 1 和 8,流式输出 32 token,每组冷缓存。FlashQLA 与 Triton 分别固定在两张 H100 上并行执行,TP=1,静态显存比例 0.7。三个 chunk 配置下,两后端各完成 16 组,全部请求成功。
测试客户端使用 Qwen3.5-27B tokenizer,服务模型为 Qwen3.5-4B;两后端沿用相同客户端配置。下表保留报告中的“稳态 prefill tok/s”指标,与 TTFT 分开呈现。
8192 与 16384 chunk
8192 chunk 下,输入长度达到 8192 及以上的组,FlashQLA 相对 Triton 的稳态 prefill 吞吐变化为 −1.57%~+1.39%。例如 8192-token、并发 8 为 −1.57%,32K、并发 1 为 +0.57%,128K、并发 8 为 +0.98%。短输入中,4K、并发 1 为 +5.14%,6K、并发 1 为 −12.08%;这些低于阈值的单请求沿用 Triton,差值反映的是整条服务测试链路的测量结果。
将 chunk 调到 16384 后,32K 输入在并发 1/8 下分别为 +2.36%/+3.30%,128K 输入分别为 +2.74%/+2.65%。调度给算子的单次工作量发生变化,服务收益也随之变化。
32768 chunk 的完整矩阵
输入 token | 并发 | FlashQLA 预填充 tok/s | Triton 预填充 tok/s | FlashQLA 相对 Triton | FlashQLA TTFT ms | Triton TTFT ms |
4096 | 1 | 17343.06 | 17306.10 | +0.21% | 108.38 | 108.63 |
4096 | 8 | 58195.62 | 58549.23 | -0.60% | 414.29 | 411.97 |
6144 | 1 | 21524.97 | 21618.14 | -0.43% | 155.35 | 154.91 |
6144 | 8 | 64170.55 | 63947.41 | +0.35% | 559.32 | 584.78 |
8191 | 1 | 25001.72 | 24860.18 | +0.57% | 198.31 | 200.07 |
8191 | 8 | 65671.08 | 65074.17 | +0.92% | 751.99 | 756.85 |
8192 | 1 | 24530.40 | 23819.16 | +2.99% | 204.01 | 214.44 |
8192 | 8 | 65644.56 | 64540.90 | +1.71% | 746.89 | 759.73 |
12288 | 1 | 28129.69 | 27702.74 | +1.54% | 307.10 | 312.41 |
12288 | 8 | 68120.55 | 67290.78 | +1.23% | 1128.38 | 1138.36 |
16384 | 1 | 30542.24 | 30603.28 | -0.20% | 402.54 | 402.48 |
16384 | 8 | 66742.13 | 65955.96 | +1.19% | 1474.67 | 1492.36 |
32768 | 1 | 33955.91 | 32921.73 | +3.14% | 824.64 | 855.91 |
32768 | 8 | 64427.89 | 63142.27 | +2.04% | 3510.69 | 3595.72 |
131072 | 1 | 27616.11 | 26688.44 | +3.48% | 4560.95 | 4723.11 |
131072 | 8 | 35750.78 | 34513.23 | +3.59% | 20584.92 | 20801.94 |
32768 chunk 下,32K/128K 四组的稳态 prefill 吞吐提升为 2.04%~3.59%。128K、并发 1 的 TTFT 从 4723.11 ms 降为 4560.95 ms;并发 8 从 20801.94 ms 降为 20584.92 ms。16K、并发 1 的吞吐则为 −0.20%。这些结果展示了收益随长度、并发和调度粒度变化的具体形态。
算子微基准与服务测量分别解释什么
独立 GDN 前向测试采用 Qwen3.5-4B TP1 的 head 配置:1×4096 token、16 个 Q/K heads、32 个 V heads、head_dim=128,BF16 Q/K/V,FP32 g/beta/h0,SWA 比例 0.75,int32 cu_seqlens,随机种子 42。预热 10 次,CUDA Graph 计时 100 次,对照为 FLA Triton 0.5.0;两个后端在两张 GPU 上分别运行。
后端 | 前向延迟 |
FlashQLA | 0.172746 ms |
FLA Triton | 0.266682 ms |
该配置下 FlashQLA 为 1.544× 加速,延迟降低 35.22%。这里直接调用算子,4K 输入会执行 FlashQLA;前文 SGLang 适配器则对 packed tokens 少于 8192 的调用回退 Triton。独立算子数据与服务数据因此对应不同调用方式。
CUDA Graph 微基准测量的是预热后的 GPU 计算路径;SGLang 服务还包括 Python wrapper、序列元数据处理、状态读写、其余模型算子、调度和生成阶段。源码中还有一个值得关注的开销来源:逐层将
query_start_loc 转为 int64 会产生新的张量对象,而 FlashQLA 的元数据缓存按对象身份匹配。缓存未命中时,chunk/CP 计划中的 .tolist() 和 .item() 会读取 GPU 张量值;重复复用同一 cu_seqlens 对象的 Graph 微基准与逐层生成新对象的服务调用,走过的 CPU 侧工作量不同。因此,接入工作的关键包括正确传递序列边界与状态、按 checkpoint 需求回退,以及联合观察 chunk 配置和完整服务指标。本次标准结果中,FlashQLA 保持了 32-token greedy 输出一致性;32768 chunk 的 32K/128K 服务测试取得约 2%~3.6% 的预填充吞吐提升,而独立 4K GDN 前向取得 1.544× 加速。
相关资料
- FlashQLA 官方仓库:GDN 算子接口与公开 benchmark 入口。
- SGLang:推理服务框架。
作者:Antarx
声明:本文采用 CC BY-NC-SA 4.0 许可协议,转载请注明出处。
Previous
Codex 每小时下载 320 MiB:一场每天七个 GiB 的自我修复
Next
一次 TileLang Warp Specialization 数值错误的定位与修复:从双缓冲竞争到 membar