隨著名為 Mixtral 8x7B 的新模型的開發，人工智慧 (AI) 向前邁出了一大步。該模型採用了一種稱為專家混合（MoE）架構的獨特方法，正在人工智慧研究界掀起波瀾。 Mixtral 8x7B 背後的團隊 Mel AI Research Group 創建了一個模型，該模型不僅可以與 ChatGPT 和 Llama 等現有大型語言模型相媲美，而且在某些情況下還優於現有大型語言模型。詳細介紹 Mixtral 8x7B 功能的研究論文吸引了專家和愛好者的關注，強調了其在各種任務中的令人印象深刻的性能，特別是在數學和程式碼生成領域。
專家薈萃
Mixtral 8x7B 因其 MoE 技術而脫穎而出，該技術利用多個專用模型的優勢來解決複雜問題。這種方法特別高效，允許 Mixtral 8x7B 提供一流的結果，而無需大型模型通常依賴的大量資源。 Mixtral 8x7B 是開源的事實也是向前邁出的一大步，為學術研究和商業專案提供了開放存取。
我們提出 Mixtral 8x7B，一種 SMoE（稀疏專家混合）語言模型。 Mixtral 具有與 Mistral 7B 相同的架構，不同之處在於每層由 8 個前饋區塊（即專家）組成。對於每個令牌，在每一層，路由器網路都會選擇兩名專家來處理當前狀態並組合他們的結果。儘管每個代幣只看到兩位專家，但每個階段選擇的專家可能不同。
因此，每個令牌可以存取 47B 個參數，但在推理過程中僅使用 13B 個活動參數。 Mixtral 使用 32k token 的上下文大小進行訓練，在所有評估的基準測試中，它的表現優於或等於 Llama 2 70B 和 GPT-3.5。特別是，Mixtral 在數學、程式碼產生和多語言能力方面顯著優於 Llama 2 70B。
我們還提供了一個用於追蹤指令的微調模型 Mixtral 8x7B – Instruct，它在人類基準測試中優於 GPT-3.5 Turbo、Claude-2.1、Gemini Pro 和 Llama 2 70B – 聊天模型。該基礎模型和教學模型在 Apache 2.0 許可證下發布.
仔細觀察 Mixtral 8x7B 的結構可以發現其稀疏的 MoE 設計，可以更好地利用其專家網絡。接取網路是關鍵要素，它可以智慧地將問題路由給最合適的專家。這確保了模型在處理涉及長上下文的場景時非常有效。正是這種專注的方法使 Mixtral 8x7B 非常適合完成需要常識、深入的世界知識和高級閱讀理解技能的任務。
Mixtral 8x7B 研究論文
Mixtral 8x7B另一個值得關注的面向是它的指令微調過程。透過客製化對特定指令的回應，Mixtral Instruct 變體在 Mt 測試台上取得了優異的結果，展示了其領先業界的性能。這種微調過程證明了該模型的多功能性以及精確理解和執行複雜指令的能力。
與其他型號相比，Mixtral 8x7B 以其效率和性能而引人注目。研究顯示（研究論文連結）Mixtral 8x7B 甚至可以超越 GPT-4 的功能，這一大膽的主張凸顯了該模型在該領域的重大貢獻。隨著人工智慧界不斷探索Mixtral 8x7B的可能性，其卓越的效能和開源軟體必將對人工智慧領域的研究和應用產生持久的影響。
