$卫宁健康(SZ300253)$ 由于临床相关的数据不能脱离院区,大模型的落地只能通过封装之后入院运行。但现阶段大部分医院现有资源环境基本是以面向通用计算的CPU,很少有医院有面向图形处理和并行计算的GPU资源,缺乏大模型的部署环境,因而需要在购置应用的同时配备GPU运营大模型应用,并保证足够的存储和高速的网络连接。如果模型过大,医院的配置成本也将因此直线上升。
为了解决上述问题,卫宁健康一直尝试保证应用质量的前提下控制参数规模。赵大平表示:“卫宁健康现有的大模型WiNGPT已经可以实现大部分医疗场景需求,它的参数量为130亿。对于这样一个大模型,单个科室GPU及硬件配置成本控制在10万元之内。而在全院应用大模型,也可以采用更多企业级的GPU并行的方案,配置费用也不过百万元。”这就是优势所在
追加内容
本文作者可以追加内容哦 !