Skip to content

【标题】Groq:从速度到架构,探秘这家AI芯片初创公司的创新之路

【核心内容】

  • Groq推出了alpha预览版的推理引擎,使用定制的LPU芯片架构,每秒能输出500个token,速度超过Chat GPT-3.5的40个token。
  • Groq的LPU芯片采用了独特的时序指令集计算机架构,避免了高带宽存储器的使用,从而提高了性能和降低了成本。
  • Groq的编译器自动将模型映射到底层架构,可以与标准框架(如PyTorch)无缝兼容,帮助客户摆脱硬件的锁定。

【评论内容】

  • 小红书用户:Groq的速度超过了其他聊天机器人,让人们对ChatGPT和Gemini的表现感到笨拙和迟缓。
  • 微信公众号读者:Groq声称能将计算成本降至零,但有人质疑其高昂的价格和CEO的“价格接近免费”的说辞,是否真的能实现计算成本的降低还有待观察。

【评论1】小红书用户:Groq的速度真是疯狂啊!让其他聊天机器人相形见绌。 【评论2】微信公众号读者:Groq说能将计算成本降至零,但他们的价格是否真的能做到这一点呢?还是只是说说而已?

" 【标题】Groq:AI 芯片的新贵,速度超越英伟达 GPU?

【核心内容】

  1. Groq 是一家人工智能解决方案公司,最近推出了一款名为 LPU 的芯片架构。
  2. LPU 芯片架构主打一个“快”字,每秒能输出 500 个 token,远高于 ChatGPT-3.5 的 40 个 token。
  3. Groq 的 LPU 芯片架构和编译器进行了大量创新,包括从头开始设计芯片架构、使用 SRAM 代替高带宽存储器等。
  4. Groq 已经从顶级风险投资公司获得了约 3.62 亿美元的资金。
  5. Groq 的芯片有望帮助客户摆脱硬件的锁定,实现更灵活的 AI 模型部署。

【评论内容】 小红书用户:听说 Groq 的 LPU 芯片速度超级快,比英伟达的 GPU 还要快,这真的是 AI 芯片的未来吗? 微信公众号读者:Groq 的 LPU 芯片看起来很有潜力,但是英伟达在 AI 芯片领域已经积累了相当的实力,Groq 能否撼动英伟达的地位还有待观察。"

上次更新于: