在AI推理业务中,面对业务请求量的持续攀升,快速部署和扩容的能力至关重要。优刻得容器服务(UK8S)现推出
容器镜像加速
功能,旨在提升AI业务应用过程中的部署速度和运行效率,确保各类项目能够快速、稳定地交付和开展。
容器镜像是容器化应用的基础,而快速下载和启动容器镜像是提升应用部署速度的关键。
优刻得UK8S的容器镜像加速功能,通过优化镜像下载和缓存机制,显著缩短了容器启动时间,使得 AI 应用能够在极短的时间内上线运行。
UK8S 集群利用UFS+FUSE文件系统来实现容器镜像按需加载(Lazy Pull),大幅提高了镜像拉取速度;尤其在处理大型 AI 模型和复杂应用时,速率优化尤为明显
通过采用延迟加载和热缓存技术,有效减少了因 FUSE 机制带来的 IO 损耗,这些优化措施确保了系统在处理数据时的效率和速度,大大提升了整体性能
![](https://gbres.dfcfw.com/Files/iimage/A202408051040066/676D31DF90BACBD74769C7C2EC76457D_w578h565.png)
某 AI 客户需要在短时间内通过 CA 弹性伸缩 200 个节点进行 AI 训练,且使用的容器镜像总大小达到了 20GB,传统的镜像加速方案会因节点上的部分性能限制,无法满足客户的需求。
1. 大规模扩容需求:任务需要在短时间内大规模扩展至 200 个节点,确保训练任务能够快速启动和运行
2. 镜像加载速度慢:传统的镜像加速方案无法满足高性能存储需求,导致镜像加载时间较长,影响整体训练效率
1. 采用 Lazy Pull 技术:UK8S集群引入了延迟加载(Lazy Pull)技术,通过在容器启动时按需加载镜像数据,有效削减了初始加载时间
2. 热缓存优化:通过热缓存技术,能够智能识别并预先缓存高频访问的镜像数据,保障了容器的IO效率
1. 加载速度提升3倍起:通过 Lazy Pull 技术,将容器加载速度从传统的分钟级提升至 20 秒左右,极大地加速了 AI 训练任务的启动速度
2. 弹性伸缩:借助 UK8S 的弹性伸缩能力,能够迅速响应AI 客户的扩容需求,在极短时间内将资源高效扩容至 200 个节点,快速拉起大规模训练任务
3. 高效部署:容器镜像加速功能,缩短了镜像下载时间,还加速了容器的启动过程,使得推理业务的部署流程更加顺畅高效,为生产取得了宝贵的时间
要测试 UK8S 集群的容器镜像加速功能,您可以预先准备下列资源,并根据下述准备列表咨询技术支持即可。
https://console.ucloud.cn/uhost/uhost/gpu_create
2. 创建一个UK8S集群:
根据您的测试业务创建对应规格即可
3. 创建一个UFS:
准备一个大于目标加速镜像、且与集群同一个VPC和子网的UFS,并设置好对应的挂载点
4. 提供加速镜像及加速镜像的uhub用户名和密码
优刻得容器服务UK8S推出的容器镜像加速功能,为AI应用部署和加速提供了强有力的支撑。无论是模型推理,还是模型微调场景,都能够通过容器镜像加速进行技术优化,帮助企业和开发者更快地部署和运行智能化应用。
郑重声明:用户在社区发表的所有信息将由本网站记录保存,仅代表作者个人观点,与本网站立场无关,不对您构成任何投资建议,据此操作风险自担。请勿相信代客理财、免费荐股和炒股培训等宣传内容,远离非法证券活动。请勿添加发言用户的手机号码、公众号、微博、微信及QQ等信息,谨防上当受骗!
郑重声明:东方财富网发布此信息的目的在于传播更多信息,与本站立场无关。东方财富网不保证该信息(包括但不限于文字、视频、音频、数据及图表)全部或者部分内容的准确性、真实性、完整性、有效性、及时性、原创性等。相关信息并未经过本网站证实,不对您构成任何投资建议,据此操作,风险自担。