https://cybersecurityerial.github.io/echo_blog/series/deepep/Recent content in DeepEP on Echo的技术博客Hugozh-cnTue, 28 Jul 2026 17:08:27 +0800https://cybersecurityerial.github.io/echo_blog/posts/llm-system-deepep-v2-elastic-communication-design/Tue, 28 Jul 2026 17:08:27 +0800https://cybersecurityerial.github.io/echo_blog/posts/llm-system-deepep-v2-elastic-communication-design/<blockquote> <p>这篇笔记把 DeepEP v2 的对象、内存、同步和数据路径压缩成五张结构图。正文只补充图中不适合展开的语义边界。</p> </blockquote> <h2 id="架构总览">架构总览</h2> <p><img alt="DeepEP v2 弹性通信架构总览" loading="lazy" src="https://cybersecurityerial.github.io/echo_blog/images/llm-system-deepep-v2-elastic-communication/01-architecture-overview.png"></p> <p><code>ElasticBuffer</code> 管理 Dispatch / Combine 所需的通信与 Buffer 资源；<code>EPHandle</code> 保存一次 EP 数据传输的元数据，包括确定性模式、Dispatch 缓存和 GroupGEMM 的 Token Padding 信息。</p> <h2 id="elasticbuffer物理分段虚拟连续">ElasticBuffer：物理分段，虚拟连续</h2> <p><img alt="ElasticBuffer 混合内存与连续虚拟地址" loading="lazy" src="https://cybersecurityerial.github.io/echo_blog/images/llm-system-deepep-v2-elastic-communication/02-elastic-buffer-memory.png"></p> <p>CPU 与 GPU 内存物理上分段，但通过 CUDA VMM 映射为连续虚拟地址，再注册为 NCCL Window。这里的 Window 提供跨 Rank 访问语义；它本身不等同于 NVSHMEM 原生的对称内存抽象。</p> <h2 id="barrier-与通信计算重叠">Barrier 与通信计算重叠</h2> <p><img alt="Barrier 跨 Stream 与跨 Rank 的两级同步" loading="lazy" src="https://cybersecurityerial.github.io/echo_blog/images/llm-system-deepep-v2-elastic-communication/03-barrier-overlap.png"></p> <p>图中展示的是全局 Barrier 的基本心智模型。Hybrid 分层 Barrier 的并行模式还存在一个容易误判的弱同步边界：A0 分别看到 B0 的 Scale-out 到达和 A1 的 Scale-up 到达，并不能推出 B1 已经到达。局部可见的两条同步事实不能自动合成为全局强 Barrier。</p> <p><code>async_with_compute_stream</code> 允许 Barrier 延迟返回 Event，在真正消费通信结果之前继续执行独立计算；<code>prefer_overlap_with_compute</code> 则通过减少通信占用的 SM，为计算留下资源。</p>