浪潮信息（000977）新获得一项发明专利授权，专利名为“梯度压缩方法、装置、设

浪潮信息（000977）新获得一项发明专利授权，专利名为“梯度压缩方法、装置、设备、分布式集群系统及存储介质”，专利申请号为CN202410317335.X，授权日为2024年6月14日。
专利摘要：本发明公开了一种梯度压缩方法、装置、设备、分布式集群及存储介质，属于分布式计算领域，用于别参考模型性能优化速率以及当前的单步训练时长两个指标，对梯度压缩程度进行调节，解决了应对低速网络进行梯度压缩时无法平衡模型性能与通信开销的问题。本发明以单个训练步为粒度，在预热阶段后的任一个训练步得到梯度数据后，在模型性能优化速率不达标的情况下对梯度压缩程度进行缩小，以便提升模型性能，而在模型性能优化速率达标且当前的单步训练时长超标的情况下，便可对梯度压缩程度进行放大，以便降低通信开销，本发明可结合网络状况的影响动态的调节梯度数据的压缩程度，从而在兼顾模型性能与网络状况的基础上，尽可能的降低通信开销。