容器镜像加速,让你的AI应用尽享丝滑!

点赞 0
评论 0
收藏
在AI推理业务中,面对业务请求量的持续攀升,快速部署和扩容的能力至关重要。优刻得容器服务(UK8S)现推出 容器镜像加速 功能,旨在提升AI业务应用过程中的部署速度和运行效率,确保各类项目能够快速、稳定地交付和开展。
容器镜像是容器化应用的基础,而快速下载和启动容器镜像是提升应用部署速度的关键。 优刻得UK8S的容器镜像加速功能,通过优化镜像下载和缓存机制,显著缩短了容器启动时间,使得 AI 应用能够在极短的时间内上线运行。

核心优势

1.更快的镜像拉取速度
UK8S 集群利用UFS+FUSE文件系统来实现容器镜像按需加载(Lazy Pull),大幅提高了镜像拉取速度;尤其在处理大型 AI 模型和复杂应用时,速率优化尤为明显
2.IO损耗小
通过采用延迟加载和热缓存技术,有效减少了因 FUSE 机制带来的 IO 损耗,这些优化措施确保了系统在处理数据时的效率和速度,大大提升了整体性能

通过案例看应用

  • 背景
某 AI 客户需要在短时间内通过 CA 弹性伸缩 200 个节点进行 AI 训练,且使用的容器镜像总大小达到了 20GB,传统的镜像加速方案会因节点上的部分性能限制,无法满足客户的需求。
  • 挑战
1. 大规模扩容需求:任务需要在短时间内大规模扩展至 200 个节点,确保训练任务能够快速启动和运行
2. 镜像加载速度慢:传统的镜像加速方案无法满足高性能存储需求,导致镜像加载时间较长,影响整体训练效率
  • 解决方案
1. 采用 Lazy Pull 技术:UK8S集群引入了延迟加载(Lazy Pull)技术,通过在容器启动时按需加载镜像数据,有效削减了初始加载时间
2. 热缓存优化:通过热缓存技术,能够智能识别并预先缓存高频访问的镜像数据,保障了容器的IO效率
  • 效果
1. 加载速度提升3倍起:通过 Lazy Pull 技术,将容器加载速度从传统的分钟级提升至 20 秒左右,极大地加速了 AI 训练任务的启动速度
2. 弹性伸缩:借助 UK8S 的弹性伸缩能力,能够迅速响应AI 客户的扩容需求,在极短时间内将资源高效扩容至 200 个节点,快速拉起大规模训练任务
3. 高效部署:容器镜像加速功能,缩短了镜像下载时间,还加速了容器的启动过程,使得推理业务的部署流程更加顺畅高效,为生产取得了宝贵的时间

使用指南

要测试 UK8S 集群的容器镜像加速功能,您可以预先准备下列资源,并根据下述准备列表咨询技术支持即可。
1. 登录到优刻得控制台:
https://console.ucloud.cn/uhost/uhost/gpu_create

2. 创建一个UK8S集群: 根据您的测试业务创建对应规格即可

3. 创建一个UFS: 准备一个大于目标加速镜像、且与集群同一个VPC和子网的UFS,并设置好对应的挂载点

4. 提供加速镜像及加速镜像的uhub用户名和密码

优刻得容器服务UK8S推出的容器镜像加速功能,为AI应用部署和加速提供了强有力的支撑。无论是模型推理,还是模型微调场景,都能够通过容器镜像加速进行技术优化,帮助企业和开发者更快地部署和运行智能化应用。

快来体验吧!
  热文回顾
1、优刻得参加工信部中非数字合作论坛
2、恭喜此芯科技点亮其首款自研芯片
3、Llama3.1模型来袭!火速get“开源巨无霸”
4、优刻得国产千卡智算集群落地


郑重声明:用户在社区发表的所有信息将由本网站记录保存,仅代表作者个人观点,与本网站立场无关,不对您构成任何投资建议,据此操作风险自担。请勿相信代客理财、免费荐股和炒股培训等宣传内容,远离非法证券活动。请勿添加发言用户的手机号码、公众号、微博、微信及QQ等信息,谨防上当受骗!
    --
    总收益 20日收益 日收益
    -- -- --
    最新操作
    - - -
    历史收益率走势(%)
    Chart
    代码 名称 最新价 涨跌幅
    查看更多
    浪客视频
    -
    郑重声明:东方财富网发布此信息的目的在于传播更多信息,与本站立场无关。东方财富网不保证该信息(包括但不限于文字、视频、音频、数据及图表)全部或者部分内容的准确性、真实性、完整性、有效性、及时性、原创性等。相关信息并未经过本网站证实,不对您构成任何投资建议,据此操作,风险自担。
    信息网络传播视听节目许可证:0908328号 经营证券期货业务许可证编号:913101046312860336 违法和不良信息举报:021-61278686 举报邮箱:jubao@eastmoney.com
    沪ICP证:沪B2-20070217 网站备案号:沪ICP备05006054号-11 沪公网安备 31010402000120号 版权所有:东方财富网 意见与建议:4000300059/952500