算力调度是青云强项，Dyamo开源大利好

$青云科技-U(SH688316)$   

除了硬件，英伟达这次在软件开源方面也有几个新动作。

其中最重磅的，当属发布NVIDIA Dyamo，一个用于加速AI模型推理的分布式推理服务库。

老黄将其称为“AI工厂的操作系统”，核心目标在于提高推理性能的同时降低Test-Time算力消耗。

按照英伟达的说法，在NVIDIA Blackwell上使用Dynamo优化推理，能让DeepSeek-R1的量提升30倍。

至于背后原因，主要在于Dynamo可以通过动态调整GPU资源应对请求波动，并优化数据卸载到成本更低的存储设备，从而降低推理成本并提高效率。

目前Dynamo已完全开源，支持PyTorch、SGLang、NVIDIA TensorRTyTM以及vLLM，在GitHub获取后即可将推理工作分配到多达1000个NVIDIA GPU芯片。