https://cybersecurityerial.github.io/echo_blog/series/sglang/Recent content in SGLang on Echo的技术博客Hugozh-cnTue, 28 Jul 2026 20:55:18 +0800https://cybersecurityerial.github.io/echo_blog/posts/llm-system-sglang-01-shared-expert-fusion/Tue, 28 Jul 2026 20:55:18 +0800https://cybersecurityerial.github.io/echo_blog/posts/llm-system-sglang-01-shared-expert-fusion/<blockquote> <p>这篇笔记把 SGLang 共享专家融合的计算语义、权重布局和执行路径压缩成六张结构图。图中的实现判断以 2026-07-29 的 SGLang <code>main</code> 分支为准；正文只补充图中容易误读的部分。</p> </blockquote> <h2 id="从双路径到一次-moe-gemm">从双路径到一次 MoE GEMM</h2> <p><img alt="SGLang 共享专家融合：从双路径到一次 MoE GEMM" loading="lazy" src="https://cybersecurityerial.github.io/echo_blog/images/llm-system-sglang-shared-expert-fusion/01-fusion-overview.png"></p> <p>融合不是让 Router 在 Shared Expert 与 Routed Expert 之间做选择。Shared Expert 仍然是必经计算，只是被追加为一个额外的 Expert Slot，并随路由结果一起交给 MoE Kernel。这样 Routed Expert 与 Shared Expert 可以在一次 MoE GEMM 中完成，省去独立的 Shared Expert GEMM 与 Kernel Launch。</p> <h2 id="layouttop-k-与权重重映射">Layout、Top-K 与权重重映射</h2> <p><img alt="SGLang 共享专家融合的 Layout、Top-K 与权重重映射" loading="lazy" src="https://cybersecurityerial.github.io/echo_blog/images/llm-system-sglang-shared-expert-fusion/02-layout-topk-weight-remap.png"></p> <p>普通布局是在 <code>N</code> 个 Routed Expert 后追加一个 Shared Expert，得到 <code>N + 1</code> 个 Slot，并把实际执行的 Expert 数增加一。当前 DeepEP / Mega 系列后端还需要为各个 EP Rank 保留本地 Shared Expert Slot，因此布局会扩展为 <code>N + EP_size</code>。Checkpoint Loader 随后把 <code>mlp.shared_experts</code> 的权重重映射到追加的 Slot；只改 Expert ID 而不改加载布局，并不能得到正确结果。</p>