9 個最佳本地/線下法學碩士項目，現在就來試試

現在，HuggingFace 上提供了量子 LLM，並且 H20、Text Gen 和 GPT4All 等 AI 生態系統可讓您在電腦上載入LLM權重，因此您現在可以選擇免費、靈活且安全的 AI。以下是您現在可以嘗試的 9 個最佳本地/離線 LLM！

目錄

• 1. Hermes 2 Pro GPTQ
• 2. Zephyr 7B Beta
• 3. Falcon Instruct GPTQ
• 4. GPT4ALL-J Groovy
• 5. DeepSeek Coder V2 使用說明
• 6.Mixtral-8x7B
• 7. Wizard Vicuna 未經審查-GPTQ
• 8. Orca Mini-GPTQ
• 9. 駱駝 2 13B 聊天 GPTQ

1. Hermes 2 Pro GPTQ

Hermes 2 Pro 是經過 Nous Research 精心調校的高階語言模型。它使用 OpenHermes 2.5 資料集的更新和精簡版本，以及公司自己開發的新引入的函數呼叫和 JSON 資料集。該模型基於 Mistral 7B 架構，已針對 1,000,000 條 GPT-4 品質或更高品質的指令/對話（大部分是合成資料）進行了訓練。

Mistral 7B 上的 Hermes 2 Pro 是新的旗艦 Hermes 7B 型號，在各種基準測試中提供了更佳的性能，包括 AGIEval、BigBench Reasoning、GPT4All 和 TruthfulQA。其先進的功能使其適用於許多自然語言處理 (NLP) 任務，例如程式碼生成、內容創建和會話式 AI 應用程式。

2. Zephyr 7B Beta

Zephyr 是一系列經過訓練的語言模型，可以充當有用的助手。 Zephyr-7B-Beta 是該系列中的第二個模型，由 Mistral-7B-v0.1 使用直接偏好優化 (DPO) 在混合公開可用的合成資料集上改進而來。

透過消除內建的訓練資料集對齊，Zephyr-7B-Beta 在 MT-Bench 等基準測試中表現出了更高的效能，從而提高了其在各種任務中的實用性。然而，當以某些方式提示時，這種調整可能會導致文字生成出現問題。

3. Falcon Instruct GPTQ

Falcon 的量化版本是基於在 TII 原始 Falcon-7b 模型上改進的僅解碼器架構。基礎 Falcon 模型使用來自公共互聯網的 1.5 兆個未償還代幣進行訓練。作為 Apache 2 許可的基於命令的解碼器模型，Falcon Instruct 非常適合尋求用於語言翻譯和資料提取的模型的小型企業。

然而，這個版本的 Falcon 並不適合微調，只適用於推理。如果您想對 Falcon 進行微調，則必須使用原始模型，這可能需要存取企業級訓練硬件，例如 NVIDIA DGX 或 AMD Instinct AI Accelerators。

4. GPT4ALL-J Groovy

GPT4All-J Groovy 是由 Nomic AI 調整併獲得 Apache 2.0 許可的僅解碼器模型。 GPT4ALL-J Groovy 基於原始 GPT-J 模型，該模型以擅長根據提示生成文字而聞名。 GPT4ALL -J Groovy 已被調整為對話模型，非常適合快速且富有創意的文本生成應用程式。這使得 GPT4All-J Groovy 成為內容創作者的理想選擇，可以協助他們寫作和創作，無論是詩歌、音樂或故事。

不幸的是，基線 GPT-J 模型是在純英語資料集上訓練的，這意味著即使是經過微調的 GPT4ALL-J 模型也只能用英語交談和執行文字生成應用程式。

5. DeepSeek Coder V2 使用說明

DeepSeek Coder V2 是一種增強程式設計和數學推理的高階語言模型。 DeepSeek Coder V2 支援多種程式語言，並提供擴展的上下文長度，使其成為開發人員的多功能工具。

與前代產品相比，DeepSeek Coder V2 在程式碼、推理和通用能力相關任務上都有了顯著的提升。它將對程式語言的支援從 86 種擴展到 338 種，並將上下文長度從 16K 擴展到 128K 個令牌。在基準測試中，它在加密和數學基準測試中優於 GPT-4 Turbo、Claude 3 Opus 和 Gemini 1.5 Pro 等模型。

6.Mixtral -8x7B

Mixtral-8x7B 是 Mistral AI 開發的混合專家模型 (MoE)。每個 MLP 有 8 位專家，總共 450 億個參數。然而，在推理過程中每個標記只啟動兩個專家，使其具有計算效率，其速度和成本可與 120 億參數模型相媲美。

Mixtral 支援 32k 個標記的上下文長度，在大多數基準測試中比 Llama 2 高出 70B，達到或超過 GPT-3.5 的效能。它精通多種語言，包括英語、法語、德語、西班牙語和義大利語，使其成為各種 NLP 任務的多功能選擇。

7. Wizard Vicuna 未經審查-GPTQ

Wizard-Vicuna GPTQ 是基於 LlaMA 模型的 Wizard Vicuna 的量子版本。與大多數向公眾發布的 LLM 不同，Wizard-Vicuna 是一個未經審查的模型，並且刪除了關聯。這意味著該模型不具備與大多數其他模型相同的安全性和道德標準。

雖然這可能會為 AI 對齊控制帶來問題，但擁有未經審查的 LLM 也能讓模型發揮最佳性能，因為它可以不受任何限制地回答問題。這還允許用戶添加自己的自訂對齊方式，以確定 AI 應如何根據給定的提示採取行動或回應。

8. Orca Mini-GPTQ

您是否想測試使用獨特學習方法訓練的模型？ Orca Mini 是微軟 Orca 研究論文的非官方實作。該模型採用師生學習方法進行訓練，其中資料集充滿了解釋，而不僅僅是提示和答案。理論上，這應該會讓學生變得更聰明，因為模型可以理解問題，而不是像傳統的 LLM 那樣只尋找輸入和輸出對。

9.駱駝 2 13B 聊天 GPTQ

Llama 2是原版 Llama LLM 的後繼產品，具有更佳的性能和多功能性。 13B Chat GPTQ 變體針對針對英語對話優化的會話式 AI 應用程式進行了調整。

上面列出的一些型號在規格方面有多個版本。一般來說，規格較高的版本會產生更好的結果，但需要更強大的硬件，而規格較低的版本會產生較低品質的結果，但可以在低端硬體上運行。如果您不確定您的電腦是否可以運行此模型，請先嘗試較低規格的版本，然後繼續，直到您覺得效能下降不再可接受為止。