Mistral stellt Mistral 3 vor: Open-Source-Modelle der nächsten Generation für Unternehmens- und Edge-KI

AI-Start Mistral hat Mistral 3 vorgestellt, die neueste Generation seiner Modelle. Sie umfasst drei kompakte, leistungsstarke Modelle mit 14 Milliarden, 8 Milliarden bzw. 3 Milliarden Parametern sowie Mistral Large 3, das bisher fortschrittlichste Modell – ein spärliches Mixture-of-Experts-System, trainiert mit 41 Milliarden aktiven und insgesamt 675 Milliarden Parametern. Alle Modelle sind unter der Apache-2.0-Lizenz verfügbar und bieten Entwicklern somit Open-Source-Zugriff in verschiedenen komprimierten Formaten für verteilte KI-Anwendungen.

Die Ministral-Modelle zeichnen sich durch ein hervorragendes Preis-Leistungs-Verhältnis aus, während Mistral Large 3 sich unter den führenden, auf Befehle optimierten Open-Source-Modellen positioniert. Von Grund auf auf 3,000 NVIDIA H200 GPUs trainiert, ist Mistral Large 3 die erste Veröffentlichung des Unternehmens mit einem Mixture-of-Experts-Modell seit der Mixtral-Serie und stellt einen bedeutenden Fortschritt im Bereich des Vortrainings dar. Nach dem Nachtraining erreicht es bei allgemeinen Prompts die Leistung führender, auf Befehle optimierter Open-Weight-Modelle und demonstriert fortgeschrittenes Bildverständnis sowie überlegene Fähigkeiten zur mehrsprachigen Konversation.

Mistral Large 3 debütierte auf Platz 2 in der Kategorie der Open-Source-Modelle ohne logisches Denken und auf Platz 6 der LMArena-Bestenliste. Sowohl die Basisversion als auch die angepasste Version sind unter Apache 2.0 lizenziert und bieten eine robuste Plattform für die Anpassung durch Unternehmen und Entwickler. Eine Version mit logischem Denken ist für eine zukünftige Veröffentlichung geplant.

Mistral kooperiert mit NVIDIA, vLLM und Red Hat, um die Zugänglichkeit und Leistung von Mistral 3 zu verbessern.

Mistral Large 3 wurde durch die Zusammenarbeit mit vLLM und Red Hat der Open-Source-Community leicht zugänglich gemacht. Ein mit llm-compressor optimierter Checkpoint im NVFP4-Format ermöglicht die effiziente Ausführung auf Blackwell NVL72-Systemen oder einem einzelnen 8×A100- oder 8×H100-Knoten mit vLLM.

Die Entwicklung fortschrittlicher Open-Source-KI-Modelle basiert auf umfassender Hardware-Software-Optimierung, die in Zusammenarbeit mit NVIDIA realisiert wurde. Alle Mistral-3-Modelle, einschließlich Large 3 und Mistral 3, wurden auf NVIDIA Hopper GPUs trainiert und nutzen den HBM3e-Speicher mit hoher Bandbreite für umfangreiche Workloads. NVIDIAs Co-Design-Ansatz integriert Hardware, Software und Modelle, um effiziente Inferenz mit TensorRT-LLM und SGLang innerhalb der Mistral-3-Familie zu ermöglichen und die Ausführung mit geringer Präzision zu unterstützen.

Für die spärliche Mixture-of-Experts-Architektur von Large 3 implementierte NVIDIA Blackwell Attention und MoE-Kernel, fügte disaggregiertes Prefill/Decode Serving hinzu und arbeitete an spekulativer Dekodierung mit. Dadurch können Entwickler Workloads mit langem Kontext und hohem Durchsatz auf GB200 NVL72-Systemen und darüber hinaus verarbeiten. Mistral-Modelle sind zudem für den Einsatz auf DGX Spark, RTX-PCs und -Laptops sowie Jetson-Geräten optimiert und bieten so ein konsistentes, leistungsstarkes Erlebnis von Rechenzentren bis hin zu Edge-Anwendungen. Mistral dankt vLLM, Red Hat und NVIDIA für ihre Unterstützung und Zusammenarbeit.

Ministral 3: Fortschrittliche KI-Leistung für Edge- und lokale Bereitstellungen

Die Ministral-3-Serie ist für Edge- und lokale Einsätze konzipiert und in drei Größen erhältlich: 3B, 8B und 14B Parameter. Jede Größe ist in den Varianten „Basis“, „Anweisung“ und „Schlussfolgerung“ verfügbar, alle mit Bildverarbeitung und unter der Apache-2.0-Lizenz veröffentlicht. Dank nativer multimodaler und mehrsprachiger Funktionen bietet die Ministral-3-Familie vielseitige Lösungen für Unternehmens- und Entwickleranwendungen.

Die Serie bietet ein außergewöhnliches Kosten-Nutzen-Verhältnis unter den Open-Source-Modellen. Die Varianten der Instruct-Algorithmen erreichen oder übertreffen vergleichbare Modelle und generieren dabei deutlich weniger Token. In Szenarien, in denen höchste Genauigkeit entscheidend ist, können die Reasoning-Varianten erweiterte Berechnungen durchführen und so in ihrer Gewichtsklasse führende Genauigkeiten erzielen, beispielsweise 85 % auf AIME '25 mit dem 14B-Modell.

Mistral 3 ist derzeit über Mistral AI Studio, Amazon Bedrock, Azure Foundry, Hugging Face (Large 3 & Mistral), Modal, IBM WatsonX, OpenRouter, Fireworks, Unsloth AI und Together AI zugänglich; die Verfügbarkeit auf NVIDIA NIM und AWS SageMaker folgt in Kürze.

Mistral Das Unternehmen ist weiterhin ein führender Akteur im europäischen Ökosystem für KI-Modelle und Open-Source-Initiativen, obwohl sein neuestes Flaggschiffmodell in puncto Leistung, Geschwindigkeit und Kosten noch hinter den Branchenführern zurückliegt. Die kleineren Ministral-Varianten könnten eine praktikablere Alternative darstellen und flexible Optionen für vielfältige Anwendungsfälle sowie den Einsatz auf verschiedenen Geräten bieten.