Stratum:面向高效MoE的系统-硬件协同设计与3D堆叠DRAM
Stratum是一种系统-硬件协同设计方案,利用3D堆叠DRAM优化混合专家模型(MoE)的效率,通过将MoE的稀疏激活特性与3D DRAM的高带宽、低延迟相结合,显著减少数据移动开销,提升推理和训练性能。实验表明,相比传统方案,Stratum在能效和吞吐量上分别提升2.3倍和1.8倍。
找到 1 篇包含 "MoE" 的文章
Stratum是一种系统-硬件协同设计方案,利用3D堆叠DRAM优化混合专家模型(MoE)的效率,通过将MoE的稀疏激活特性与3D DRAM的高带宽、低延迟相结合,显著减少数据移动开销,提升推理和训练性能。实验表明,相比传统方案,Stratum在能效和吞吐量上分别提升2.3倍和1.8倍。