人工智能时代下，浪潮信息紧跟时代步伐，于近日推出分布式全闪存储AS13000G7-N系列，专为大模型优化而设，为数据存储带来革命性的突破。
该系列依托浪潮信息自研分布式文件系统，搭载新一代数据加速引擎DataTurbo，通过盘控协同、GPU直访存储、全局一致性缓存等技术为AI大模型数据归集、训练、数据归档与管理等阶段提供强大存储支撑能力，助力用户加速大模型系统的创新及应用落地。
DataTurbo数据加速引擎，全力保障大模型高效训练
在大模型的数据应用全流程中，要想使训练效率达到极致，减少不必要的资源浪费，训练阶段的数据读写性能成为重中之重。而想要提升算力利用率、降低模型训练成本，必须要在数据存储性能上进行创新。
AS13000G7-N系列具备强大的端到端性能优化能力，这也是模型训练阶段最为核心的考量因素。浪潮信息基于计算和存储协同的理念，依托自研分布式文件系统构建了新一代数据加速引擎DataTurbo，在缓存优化、空间均衡、缩短GPU与存储读取路径等方面进行了全面升级。”
智能缓存优化，保障大模型训练速度与质量
AS13000G7-N能够通过对大小IO的智能识别，进行分类治理，小文件采取聚合的操作，大文件采取切片的操作，所有数据以大小均衡的模式保存到全局缓存中，实现小文件性能提升5倍，大文件性能提升10倍。在模型训练中断后，从Checkpoint恢复数据过程中，AS13000G7-N通过缓存预读技术，提前识别数据的冷热程度，加速了重复样本数据的读取，训练加载速度提升10倍。无论是读操作还是写操作，AS13000G7-N采取了字节级（Byte）分布式锁机制，粒度是主流并行文件系统锁机制粒度的几十分之一，确保多个节点访问共享资源时能够安全、有序地进行操作，从而保持训练数据的强一致性和训练质量。
智能空间均衡，高水位下性能无衰减
AS13000G7-N搭载了浪潮信息自主研发的分布式并行客户端技术，相比通用私有客户端，卸载了独立的元数据，实现了元数据和数据节点的高效统一部署，有效提升存储的并发能力，充分利用训练节点网卡的带宽，让GPU算力得到完全释放。同时在存储端，相较于业界主流的文件系统需要在磁盘之上构筑一层文件协议，AS13000G7-N能够直接对裸盘的空间进行均衡排布，并在管理层面设计了智能空间预分技术，能够结合用户前端算力节点数量、训练模型的数量，对存储空间分配进一步进行智能策略预埋。这套组合拳能够使AS13000G7-N在空间利用率达到95%高水位时，依然可以平稳输出强大的性能。在模型训练的空间损耗上，AS13000G7-N相较传统方案，将损耗率降低了85%左右，充分保护了客户在大模型存储上的投资。
GPU直通存储，服务万亿参数大模型
当大模型参数在百亿级别，GPU对存储资源的调用效率往往差别不大。但随着大模型从单模态走向多模态，数据量指数型增长，训练效率随之要求更高。从数据层面来看，AS13000G7-N具备和GPU直通的能力，数据流不经过客户端缓存，直接到达存储底层文件系统，缩短GPU与存储的读取路径，这项技术能够使存储读写带宽翻倍，大模型训练加载时间缩短50%。随着万卡万亿参数模型时代的到来，GPU直通存储高效提升数据读写访问的能力将是大模型训练的标配。
通过上述技术创新，浪潮信息分布式全闪存储AS13000G7-N不仅在数据存储性能上取得了显著的突破，还为大模型的训练提供了有力的支撑。在AI时代的浪潮中，大模型的应用需求日益迫切，浪潮信息作为领先的存储解决方案提供商，将继续致力于技术创新和产品研发，为用户提供更强大的数据加速引擎，全力保障大模型的高效训练，推动人工智能技术的快速发展和普及。
本文作者可以追加内容哦 !
