MOE引领AI算力新纪元

$锐捷网络(SZ301165)$  

全球AI大模型技术迭代浪潮加快，算力需求持续高涨

事件:英伟达于6月15日发布新一代AI大模型Nemotron-4 340B，最大的技术变化在于进一步拥抱MOE架构，引入ROPE优化算法:

架构端: Nemotron-4 340B采用Transformer架构，具备因果注意力掩码，使用旋转位置嵌入(RoPE)、Sentencepiece分词器、MLP层平方ReLU激活函数等多项优化功能;2#训练端: Nemotron-4 340B使用768个DGX H100节点进行训练，每个节点包含8个基于NVIDIA Hopper架构的H10080GB SXM5 GPU;每个节点GPU通过NVLink和NV Switch连接，GPU间带宽900Gb/s(双向各450Gb/s);每个节点配备8个NVIDIA Mellanox 400G HDR IB主机通道适配器，用于节点间通信;8#模型性能评估对比: Nemotron-4340B在常识推理任务以及BBH等主流基准上实现了行业最高的准确率，并且在MMLU代码基准上也具备较高竞争力;

点评: MOE架构相比传统Transformer模型具备更高的效率和更低的成本，在海外谷歌Gemini、英伟达Nemotron等AI大模型积极采用MoE架构的推动下，MoE大模型有望成为全球AI大模型主流技术路线，对通信网络更高需求推动高性能交换机加速落地。具体来看主要是推动单交换机峰值速率提升，以及交换机总需求量增加。AI算力基础设施建设预计将保持扩张周期，带动上游光模块、交换机等环节需求提升

逻辑以主题投资和情绪投资为节点，主题投资和情绪投资的形成是以强逻辑的推进为基本点而形成的 !