Wenn Sie von einem «70B-Modell» hören, denken Sie vielleicht: «Das sind 70 Milliarden Zahlen – da braucht man einen Supercomputer.» Stimmt so gar nicht. Quantisierung ist der Trick, mit dem ein 70B-Modell auf eine einzelne, handelsübliche Hardware passt. Der Preis dafür ist ein kleiner Qualitätsverlust, den Sie in der Praxis kaum spüren – wenn Sie die richtige Stufe wählen.
Im Folgenden erklären wir, was «Q4», «Q6» und «Q8» genau bedeuten, wie viel Speicher jede Stufe braucht und wie ein 70B-Modell auf 32, 48 oder 128 GB RAM/VRAM passt. Damit können Sie die Hardware-Fragen, die Ihnen jemand stellt, selbst beantworten.
Was «Bits pro Gewicht» bedeutet
Jede Gewichtung eines LLM ist eine Zahl. Standardmäßig wird sie mit 16 Bit (FP16) gespeichert – also mit 2 Bytes pro Zahl. Bei 70 Milliarden Gewichtungen sind das 140 GB. Das ist zu viel für fast jede Einzel-Hardware.
Quantisierung reduziert die Präzision dieser Zahlen: Statt 16 Bit pro Gewicht werden 8, 6 oder 4 Bit verwendet. «Q8» heißt also: 8 Bit pro Gewicht, «Q6»: 6 Bit, «Q4»: 4 Bit. Der Zusatz K_M / K_S kennzeichnet die Art der Quantisierung (sog. k-Quant mit Mittelung bzw. Schwellwert) – in der Praxis sind die «K»-Varianten die beste Qualität bei gleicher Bitzahl.
Kurz: Jede halbe Bitstufe spart Speicher und kostet ein klein wenig Genauigkeit. Und Genauigkeit ist bei einem Sprachmodell genau das, was die Qualität der Antworten ausmacht.
Die Speicherrechnung: wie viel RAM/VRAM Sie wirklich brauchen
Hier die Rechnung für ein typisches 70B-Modell (z.B. Llama-3-70B oder Qwen-2.5-72B). Die Werte umfassen die Modellgewichte plus typischen Overhead (KV-Cache, Runtime):
| Quantisierung | Bits/Gewicht | Modellgröße 70B | Passt in |
|---|---|---|---|
| FP16 (Vollpräzision) | 16 | ~140 GB | 2× RTX-4090 oder H100 |
| Q8_K | ~8,5 | ~78 GB | DGX Spark (128 GB) |
| Q6_K | ~6,5 | ~58 GB | DGX Spark, 2× RTX-5090 |
| Q5_K_M | ~5,5 | ~44 GB | 48-GB-Karte, DGX Spark |
| Q4_K_M | ~4,5 | ~40 GB | 48-GB-Karte, DGX Spark |
| Q3_K | ~3,5 | ~32 GB | RTX-5090 (32 GB) – knapp |
Schauen Sie auf die Tabelle: Ein 70B-Modell in Q4 braucht rund 40 GB – das passt in die DGX Spark mit 128 GB, aber nicht auf die RTX-5090 mit 32 GB. Genau deshalb ist die Wahl der Quantisierung die Entscheidung, die über Ihre Hardware geht. Für die RTX-5090 (32 GB) sind 7B–14B-Modelle der Sweet Spot – in Q6 oder Q8 mit vollem Komfort, in Q4 mit viel Platz für Kontext.
Was die Stufen für die Qualität bedeuten
Die Faustregeln aus der Praxis:
- Q8 / Q6 – praktisch nicht unterscheidbar vom Original. Für die meisten Geschäftsanwendungen der goldene Standard; Sie spüren keinen Unterschied zu FP16.
- Q5 – minimale Qualitätseinbußen, oft der Sweet Spot, wenn Sie Kontextfenster und Speicher balancieren wollen.
- Q4 – klarer Kompromiss: spart ~40 % Speicher gegenüber Q6, spürbare Qualitätseinbußen vor allem bei anspruchsvollen Aufgaben (feines Fachwissen, langer Kontext). Für die meisten KMU-Anwendungen immer noch sehr gut.
- Q3 und darunter – sichtbar schlechter, mehr Halluzinationen. Nur für Experimente, nicht für den Produktivbetrieb.
Unsere Empfehlung: Q6 bis Q8, wenn die Hardware es hergibt. Wenn Sie auf einer RTX-5090 bleiben, ist Q4 für 7B–14B-Modelle der Sweet Spot. Wenn Sie auf die DGX Spark gehen, können Sie 70B in Q4–Q6 mit vollem Kontext fahren – das ist der qualitative Unterschied, den Ihre Mitarbeiter spüren werden.
Warum «Modelle auf 32–128 GB» die Kernentscheidung ist
Wenn Sie im Haus lokal rechnen, haben Sie typischerweise zwei Optionen:
- RTX-5090-Rechner (ca. 7.000 €): 32 GB VRAM, sehr schnell. Passt 7B–14B in Q4–Q8, 32K Kontext. Für 5–20 Mitarbeiter, die vor allem Textaufgaben erledigen (Mails, Summaries, einfache RAG-Anfragen).
- NVIDIA DGX Spark (ca. 5.000 €): 128 GB Unified Memory, etwas langsamer im Tokens-Sekunden-Bereich, aber mit deutlich mehr Modell- und Kontextspielraum. Passt 70B in Q4–Q6, 32K–128K Kontext. Für 20–100+ Mitarbeiter oder anspruchsvollere RAG-Szenarien.
Beide laufen mit demselben Software-Stack (Ollama + Open WebUI + RAG) – der Unterschied ist, wie groß die Modelle sein dürfen. Die Hardware-Entscheidung ist damit nicht eine Frage der Marke, sondern der Modellgröße und des Kontextfensters, die Sie brauchen.
Die kurze Entscheidungsregel
Stellen Sie sich die Frage: Wie groß dürfen die Modelle sein, die meine Mitarbeiter brauchen? Wenn 14B ausreicht – und das tut es für die meisten KMU-Anwendungen – fährt die RTX-5090 in Q8/Q6 mit viel Kontext und hoher Geschwindigkeit. Wenn Sie ein 70B-Modell brauchen, zum Beispiel für komplexe RAG-Abfragen über hunderttausende von Dokumenten, ist die DGX Spark mit 128 GB die richtige Antwort, weil sie das Modell in Q4–Q6 samt großem Kontext auf einer einzigen Maschine laufen lässt.
Genau diese Frage klären wir im kostenlosen Erstgespräch. LokaleKI liefert Ihnen am Ende eine konkrete Empfehlung – welches Modell, welche Quantisierung, welche Hardware – basierend auf Ihren echten Anwendungsfällen, nicht auf einem pauschalen Marketingversprechen.