浪潮信息凭借其在高速数据传输领域的深厚积累,成功推出了创新的PCIe光互连技术方案,并顺利通过了原型样机的严格验证。这一突破性成果不仅展现了浪潮信息在技术创新方面的卓越能力,更通过实现混合速率线性光传输,有效解决了PCIe协议与光传输技术之间的兼容难题。尤为引人注目的是,该方案将PCIe Gen5信号的传输距离提升至30米,相比传统铜互连技术实现了质的飞跃,为数据中心的长距离高速互连带来了前所未有的便利与可能。
大模型时代对PCIe技术进步的需求
PCIe总线协议(Peripheral Component Interconnect Express)作为计算机和服务器中使用最广泛的高速数据传输技术,其传输性能的提升对于满足这些需求至关重要。传统连接方案主要依赖于铜缆进行电信号传输,用于单机内部计算芯片和设备之间互连。众所周知,铜缆在信号完整性、延迟、传输距离和功耗等方面存在日益突出的局限,无法满足PCIe高性能互连系统的需求。
同时,随着AIGC的发展,千亿参数成为大模型智能涌现的临界点,参数规模越大,意味着计算复杂度越高,因此所需要的算力规模也变得越来越大,万卡成为算力系统设计的起点,单机内部的PCIe连接已经不能满足需求,机柜内互连和跨机柜的互连成为新的发展方向,以实现更高效的数据交换和资源共享。光互连技术在这里开始发挥作用,利用光纤来替代铜缆,进一步提升带宽和传输距离。为解决这些问题,包括PCI-SIG(PCI Special Interest Group)和浪潮信息等在内的众多组织或公司,正在积极研究和推进PCIe光互连技术,该技术将颠覆数据中心的互连方式,为Data Center as a Computer的实现奠定基础。
![](https://gbres.dfcfw.com/Files/iimage/20240811/D8CED5B314895DE9D77D06003A7418E4_w948h476.webp)
PCIe技术演进中的光互连挑战
经过20多年的发展,PCIe技术已经成为计算系统中数据通信的核心技术,自诞生以来,PCIe协议经历了从1.0到6.0版本的迭代,PCIe数据传输速率也从1.0的2.5GT/s,提升为6.0的64GT/s。这一进步的同时也带来了新的挑战。
PCIe技术快速发展与电互连局限的矛盾日益突出。传统的PCIe电互连传输方式虽然成熟,但在面对日益增长的数据传输需求时,其传输带宽和传输距离方面的限制逐渐凸显,已无法满足高性能PCIe互连对应的业务场景。浪潮信息开始探索使用光互连技术替代传统的电互连方案,光互连技术可以实现更远的距离、更高的带宽和更低的延迟,这为PCIe架构带来了突破的可能,有望成为服务器系统未来高速数据传输的重要发展方向。
在研究过程中,浪潮信息的工程师们发现尽管光互连技术有明显的优势,但PCIe协议与光传输技术之间的兼容性问题却成为了新的挑战。PCIe协议制定之初并未考虑采用光互连来传输,导致现有光传输技术与PCIe协议之间存在许多不兼容的地方,如图2。
首先,PCIe链路的建立包括接收端检测、电气空闲状态和协商链路速率等过程,常规的光模块设计通常针对的是简单的光信号传输,不具备处理这些复杂的协议过程的能力。
其次,PCIe链路的稳定建立需要辅助信号的支持,如PERST#、PRSNT# 等,而光模块内部通常没有预留传输辅助信号的通道。这些不兼容的地方阻碍了PCIe协议与光传输的结合。
众所周知,随着PCIe速率的增加,传统铜缆在长距离传输面临着越来越大的挑战。例如,PCIe 1.0时,铜缆传输距离可达10米,而PCIe 4.0时,这一距离缩短至3、4米;当速率进一步提高到64 GT/s和128 GT/s,也即PCIe 6.0和未来的PCIe 7.0,铜缆传输距离将进一步缩短至几十厘米,无法满足数据中心的长距离传输需求,PCIe光互连变得不可或缺。
浪潮信息PCIe光互连方案:突破距离限制,实现高效能数据中心互连
浪潮信息针对PCIe电互连在传输带宽和距离上的局限性,创新研发了PCIe光互连方案,成功将PCIe信号从1.4米传输距离拓展至30米,满足数据中心对长距离高性能互连网络的需求。
针对光传输中与PCIe协议的不兼容问题,浪潮信息的工程师们深入研究了PCIe协议以及光电转换组件的工作原理,提出了混合速率线性光传输方案,如图3。
![](https://gbres.dfcfw.com/Files/iimage/20240811/46E06F4C65CAFD03CBA89DAED5BEDDA0_w869h276.webp)
该方案包含三大关键技术特征:
将辅助信号汇合并编译为600Mbps的低压差分信号,与宽速率范围的高速数据信号一起,通过光纤链路实现同步传输。
利用线性直驱技术构建了高速信号的光传输链路,这不仅优化了光电转换过程,还扩大了光电器件的传输带宽,同时减少了光链路的能耗和传输延迟。
通过硬件升级来扩展和升级链路,确保能够适应未来PCIe Gen6和Gen7设备的组网互连需求。
基于上述方案,浪潮信息的工程师们开发了PCIe光互连的原型,并进行了传输验证。测试结果显示,该原型不仅实现了30米光纤链路PCIe Gen5信号传输,还实现了PCIe辅助信号的光传输,图4为30米光互连链路眼图测试结果。作为对比,同样的系统架构,铜缆方案最远传输距离约1.4米,因此光互连方案成功实现将PCIe Gen5信号传输距离提升20倍。并且在性能测试环节,PCIe光互连链路通过2小时的NVMe-based FIO读写测试和24小时GPU带宽测试,远距离传输性能与NVMe盘和GPU直连CPU的测试数据基本一致,证明了该方案的有效性和可靠性。
而且在针对不同距离条件下信号传输质量的测试中,30米长度的光纤链路眼高和眼宽结果与1米长度的光纤链路基本一致。这表明信号的传输质量几乎不随光链路长度增加而衰减,这种优势是电互连传输技术所不具备的。
![](https://gbres.dfcfw.com/Files/iimage/20240811/2B5418C29E004C84373E0CB383FCD8A1_w835h684.webp)
备注:眼高和眼宽是用于评估高速信号质量的两个重要参数,据此可直观地观察高速信号在传输过程中受到的噪声和抖动影响,从而评估信号的整体传输质量。
在PCIe技术不断演进、数据传输需求日益增长的今天,浪潮信息正以前瞻性的视野和坚实的步伐,推动着PCIe光互连技术的持续发展。公司深知,技术创新是推动行业进步的关键力量,因此将不断加大研发投入,深化技术积累,致力于为智算中心、大规模数据中心等关键领域提供更加先进、可靠的数据传输解决方案。浪潮信息,正以科技之光,照亮数据中心互连技术的未来之路。
本文作者可以追加内容哦 !