https://cybersecurityerial.github.io/echo_blog/tags/dataset/Recent content in Dataset on Echo的技术博客Hugozh-cnThu, 18 Jun 2026 00:00:00 +0800https://cybersecurityerial.github.io/echo_blog/posts/llm-system-training-framework-notes-06-megatron-dataset/Thu, 18 Jun 2026 00:00:00 +0800https://cybersecurityerial.github.io/echo_blog/posts/llm-system-training-framework-notes-06-megatron-dataset/<h2 id="mcore-dataset构造协议">mcore dataset构造协议</h2> <p>不同模型对于“sample”的定义不同，也就是说每一类模型拿来训练的输入是不一样的，哪怕底层数据是一样的。所以就有必要在之上抽象一层dataset类。</p> <p>主流这三类：</p> <h4 id="gpt">GPT</h4> <ul> <li>数据-标签形态： <ul> <li>tokens = x[0 : L]</li> <li>labels = x[1 : L+1]</li> </ul> </li> <li>任务： <ul> <li>预测下一个tk</li> </ul> </li> </ul> <h4 id="bert">BERT</h4> <ul> <li>数据-标签形态 <ul> <li>input = corrupt(x)</li> <li>labels = x only at masked positions</li> </ul> </li> <li>任务： <ul> <li>挖空填词，看到左右的tk预测中间的tk</li> </ul> </li> </ul> <h4 id="t5">T5</h4> <ul> <li>数据-标签形态 <ul> <li>encoder_input = corrupt_span(x)</li> <li>decoder_label = removed_spans</li> </ul> </li> <li>任务： <ul> <li>encoder看残缺文本，decoder输出删掉的整个片段</li> </ul> </li> </ul> <h2 id="mcore-dataset涉及到的系统级优化">mcore dataset涉及到的系统级优化</h2> <h3 id="用mmap映射token">用mmap映射token</h3> <p>mmap是把一个文件映射到了进程的虚拟地址空间，但是不会把整个文件load到进程的内存。真正的读取行为是lazy的，用哪块读哪块。（实际上os做的事情就是读va-查询页表-pagefault触发-os做一次read SSD到mem，信息是mmap给-更新页表）为什么不用read()而是使用mmap()呢，按理说rea也可以做到这种lazy的行为。因为read()在读的时候不是0拷贝。</p> <p>llm训练数据量大，连续存储，每次只用一块mb，适合用mmap。</p> <p>mmap存在的代价是A。容易缺页，（读取没有时空局部性会这样）B。warmup慢，C。多rank同时缺页的时候os的fs开销大（为什么，因为）。</p> <p>对A问题，mgt做的优化：</p> <ul> <li>document_index</li> <li>sample_index</li> <li>shuffle_index</li> <li>cache</li> <li>访问密度判断</li> </ul> <p>对C问题，mgt做的优化：</p> <ul> <li>cache 预建</li> <li>defer mmap</li> <li>fast cache load</li> <li>object storage block cache</li> </ul> <p>先不展开。让ai总结了一下这几个优化所在的位置。方便后续索引。 具体位置在索引AAA这一节。</p> <p>nv文档提了几个这部分优化的点：</p>