富士康宣布推出基於 Meta Llama 3.1 的大型語言模型 (LLM)

富士康是一家以生產 iPhone 和其他蘋果硬體產品而聞名的公司，它剛剛宣布推出其首個大型語言模型 (LLM)，名為 FoxBrain，旨在用於改善製造和供應鏈管理，令所有人感到驚訝。

這家台灣製造商表示，FoxBrain 僅使用了 120 塊 Nvidia H100 GPU 進行訓練。這個LLM基本上是基於Meta的Llama 3.1架構開發的，透過蒸餾得到了700億個參數。 LLM 細化的概念涉及使用「父」模型並根據其反應訓練「子」模型。富士康也承認，他們的LLM不如DeepSeek（中國）的精煉模型，但整體表現已經非常接近世界一流水準。

談到這項成就，鴻海研究院人工智慧研究中心主任李永輝博士表示：

近幾個月來，增強推理能力和高效利用GPU逐漸成為人工智慧領域的一大趨勢。我們的 FoxBrain 模型採用了非常有效率的訓練策略，專注於優化訓練過程，而不是盲目地累積運算能力。

透過精心設計的訓練方法和資源優化，我們成功建立了具有強大推理能力的本地人工智慧模型。 」

富士康不僅組裝蘋果產品，也生產英偉達的人工智慧伺服器。 FoxBrain 配備 120 個 H100 GPU，使用 Nvidia 的 Quantum-2 InfiniBand 網路進行擴展，訓練僅需約 4 週時間（總運算成本為 2,688 GPU 天）。富士康產生了 980 億個繁體中文高品質預訓練資料標記，上下文視窗長度高達 128,000 個標記。

富士康與 Nvidia 之間的合作並不新鮮，兩家公司也正在進行其他項目，包括建造世界上最大的 Blackwell GPU 製造工廠。

Nvidia也向富士康提供了台北一號超級電腦來完成模型預訓練過程。富士康表示，FoxBrain將成為升級公司三大主要平台——智慧製造、智慧電動車和智慧城市的「關鍵引擎」。