人工智能推理芯片开发商 Groq Inc. 今天宣布，已筹集 7.5 亿美元的新资金。
Databricks Inc. 的支持者 Disruptive 领投了本轮融资。思科系统公司、三星电子公司、德国电信资本合作伙伴和几家投资公司也加入了该论坛。Groq 目前的估值为 69亿美元，高于去年的 28 亿美元。
Groq 提供了一个称为语言处理单元或 LPU 的处理器。该公司声称，该芯片可以运行一些推理工作负载，能效比显卡高出 10 倍。Groq 表示，LPU 的效率是竞争对手芯片中未包含的多项优化的成果。
协调运行 AI 模型所涉及的不同处理器组件可能会消耗大量计算能力。根据 Groq 的说法，其 LPU 减少了开销，从而为推理留下了更多的处理能力。该公司表示，其芯片可以运行具有 1 万亿个参数的模型。
Groq 的 LPU 使用自定义编译器减少了与电路协调任务相关的开销。编译器会在推理工作负载启动之前计算哪个电路应执行哪些任务，这样就无需在运行时运行必要的计算。
Groq 的编译器还以其他方式优化 AI 模型。许多芯片使用一种称为量化的技术来压缩神经网络，这会以牺牲一些输出质量为代价来减少内存占用。Groq 表示，其编译器使用了一种名为 RealScale 的改进版本的技术。该技术仅压缩神经网络中在量化时输出质量不会显着下降的部分。
LPU 的另一个卖点是它具有所谓的确定性架构。因此，可以通过单个时钟周期的粒度来预测每个给定的计算作将花费多少时间。根据 Groq 的说法，LPU 的可预测性有助于实现性能优化，否则这些优化将难以实施。
该公司将其芯片作为名为 GroqRack 的设备的一部分进行销售。该系统包括九台服务器，每台服务器都拥有多个 LPU。Grok 表示，与竞争设备相比，GroqRack 需要更少的外部网络硬件，从而降低了成本，并且无需进行重大设施升级即可安装在数据中心。
该公司还通过云平台提供对其芯片的访问。GroqCloud，正如该平台所称的那样，托管 LPU 驱动的 AI 模型，开发人员可以通过应用程序编程接口将其集成到他们的软件中。Groq 将利用其新资金来扩展为 GroqCloud 提供支持的数据中心网络。
这项投资是在有报道称一家推理芯片的竞争对手提供商正在寻求自己的新一轮融资之际进行的。据报道，总部位于加利福尼亚州圣克拉拉的 Rivos 正在 洽谈以 20 亿美元的估值筹集高达 5000 万美元的资金。该公司正在开发一种将显卡与中央处理器内核相结合的片上系统。