Cerebras 推出全球最快 AI 推理技術，效能比 NVIDIA 快 20 倍

Cerebras Systems 剛剛正式宣布推出 Cerebras Inference，被認為是世界上最快的 AI 推理解決方案。 Cerebras Inference 為 Llama 3.1 8B（80 億個參數）模型提供高達每秒 1,800 個代幣的效能，為 Llama 3.1 70B 提供高達每秒 450 個代幣的效能，比包括 Microsoft Azure 在內的當今全球超大規模雲中可用的基於 NVIDIA GPU 的 AI 推理比包括 Microsoft Azure 在內的當今全球超大規模雲中可用的基於 NVIDIA GPU 的 AI 推理比包括 Microsoft Azure 20 倍快近解決方案快。

除了令人難以置信的效能表現之外，這款全新推理解決方案的服務價格也非常便宜，僅為熱門GPU雲端平台價格的一小部分。例如，客戶只需花費 10 美分即可獲得 100 萬個代幣，為 AI 工作負載提供 100 倍的性價比。

Cerebras 的 16 位元精度和 20 倍的推理速度將使開發人員能夠建立下一代高效能 AI 應用程序，而不會影響速度或成本。這種突破性的性價比得益於 Cerebras CS-3 系統和 AI 處理器 Wafer Scale Engine 3 (WSE-3)。 CS-3 提供的記憶體頻寬是 Nvidia H100 的 7000 倍，解決了生成式 AI 的記憶體頻寬技術難題。

Cerebras Inference 目前有以下三個等級：

• 免費方案為所有註冊用戶提供免費的 API 存取和寬鬆的使用限制。
• 開發人員層專為靈活的無伺服器部署而設計，為用戶提供 API 端點，其成本僅為市場上現有替代品的一小部分，其中 Llama 3.1 8B 和 70B 型號的價格分別僅為每百萬個代幣 10 美分和 60 美分。
• 企業級計劃提供精細調整的模型、客製化服務等級協定和專門支援。對於持久工作負載來說，企業可以透過 Cerebras 管理的私有雲或本地存取 Cerebras Inference。

Cerebras Inference 憑藉創紀錄的性能、有競爭力的價格和開放的 API 訪問，為開放的 LLM 開發和部署設立了新的標準。作為唯一能夠同時提供高速訓練和推理的解決方案，Cerebras 為人工智慧開啟了全新的可能性。

隨著人工智慧趨勢的快速發展，以及 NVIDIA 目前在市場上佔據主導地位，Cerebras 和 Groq 等公司的出現預示著整個行業動態的潛在轉變。隨著對更快、更具成本效益的 AI 推理解決方案的需求不斷增加，Cerebras Inference 等解決方案很有可能挑戰 NVIDIA 的主導地位，尤其是在推理領域。