Meta AI Llama 4 模型的 3 大新功能

2025 年 4 月初，Meta 推出了 Llama 4，這是旨在將公司提升到新水平的最新系列 AI 模型。每款新 Llama 4 車型都比其前代車型有顯著的改進，以下是值得嘗試的突出新功能。

3.混合專家（MoE）架構

Llama 4 型號最顯著的特點之一是全新的 MoE 架構，這是 Llama 系列的首創，它採用了與之前型號不同的方法。在新架構中，每個標記僅啟動一小部分模型參數，這與 Llama 3 及以下的傳統密集 Transformer 模型不同，在這些模型中，每個任務都會啟動所有參數。

例如，Llama 4 Maverick 僅使用 4000 億個活動參數中的 170 億個，擁有 128 個路由專家和 1 個共享專家。系列中最小的 Llama 4 Scout 共有 1,090 億個參數，16 位專家僅啟動了 170 億個。

該三人組中最大的版本 Llama 4 Behemoth 使用了總共近兩萬億個參數中的 2880 億個活躍參數（擁有 16 位專家）。由於這種新架構，每個任務僅分配兩名專家。

由於架構的變化，Llama 4系列中的模型在訓練和推理過程中計算效率更高。僅啟用一小部分參數可降低服務成本和延遲。 Meta 聲稱，由於 MoE 架構，Llama 可以在單一 Nvidia H100 GPU 上運行，考慮到參數數量，這是一項令人印象深刻的成就。雖然沒有具體的指標，但人們認為對ChatGPT的每個查詢都使用多個 Nvidia GPU，這會在幾乎每個可測量的指標中產生更大的開銷。

2. 原生多模態處理能力

Llama 4 AI 模型的另一個重要更新是原生多模式處理，這意味著這三種模型可以同時理解文字和圖像。

這要歸功於初始訓練階段所進行的組合，其中文字和視覺標記被整合到統一的架構中。使用大量未標記的文字、圖像和影片資料來訓練模型。

沒有比這更好的了。如果你還記得的話，Meta 的Llama 3.2升級版於 2024 年 9 月發布，引入了許多新模型（總共 10 個），其中包括 5 個多模式視覺模型和 5 個文字模型。隨著這一代產品的推出，由於原生的多模式處理能力，該公司不需要發佈單獨的文字和視覺模型。

此外，Llama 4 使用了改進的視覺編碼器，允許模型處理複雜的視覺推理任務和多圖像輸入，使其能夠處理需要高級理解文字和圖像的應用程式。多模式處理還允許 LLama 4 模型用於各種應用程式。

1. 業界領先的脈絡窗口

Llama 4 的 AI 模型擁有前所未有的高達 1000 萬個標記的上下文視窗。雖然 Llama 4 Behemoth 在發佈時仍處於開發階段，但 Llama 4 Scout 已經樹立了新的行業標桿，它能夠支援長達 1000 萬個上下文標記，讓您輸入長度超過 500 萬個單字的文字。

這個擴展的上下文長度與 Llama 3 首次推出時的 8k 個令牌相比有顯著增加，甚至與 Llama 3.2 升級後擴展到 128k 相比也有顯著增加。有趣的不僅是 Llama 4 Scout 的 1000 萬個上下文長度；即使是 Llama 4 Maverick，其上下文長度達一百萬，這也是一項令人印象深刻的成就。

Llama 3.2 是目前最好的用於擴展對話的 AI 聊天機器人之一。然而，Llama 4 擴展的上下文視窗使 Llama 處於領先地位，超過了 Gemini 之前的前 200 萬個令牌上下文視窗、Claude 3.7 Sonnet 的 20 萬個令牌上下文視窗和 GPT-4.5 的 12.8 萬個令牌上下文視窗。