根据虎嗅网的讯息得知，初创公司Groq，谷歌TPU团队原班人马，基于自研芯片推出推理加速方案（注意，这不是马斯克的Grok）。
据他们介绍，其推理速度相较于英伟达GPU提高了10倍，成本却降低到十分之一。
换言之，任何一个大模型都可以部署实现。
目前已经能支持Mixtral 8x7B SMoE、Llama 2的7B和70B这三种模型，并且可直接体验Demo。
据介绍，Groq的芯片采用14nm制程，搭载了230MB大SRAM来保证内存带宽，片上内存带宽达到了80TB/s。
这不就巧了吗，北京君正不就是全球排名第二的SRAM存储企业。
追加内容
本文作者可以追加内容哦 !
