Die häufigste Frage, die wir im Erstgespräch hören: «Kann eine RTX-5090 unsere 30 Mitarbeiter bedienen?» Die ehrliche Antwort: Ja, aber mit Einschränkungen. Und genau deshalb ist die Frage «Wie viele Mitarbeiter?» die wichtigste, die Sie sich vor dem Kauf stellen müssen – denn sie bestimmt, welche Hardware die richtige ist.
Im Folgenden rechnen wir die Leistung einer RTX-5090 realistisch durch: wie viele Tokens pro Sekunde sie erzeugt, wie viel Parallelität möglich ist, und was «einen Mitarbeiter bedienen» in der Praxis wirklich bedeutet. Am Ende wissen Sie, ob die 5090 für Sie ausreicht – oder ob die DGX Spark der richtige Schritt ist.
Was «einen Mitarbeiter bedienen» bedeutet
Eine KI ist kein Webserver. Eine «Anfrage» ist keine Millisekunden-Anfrage, sondern die Erzeugung von 100 bis 2.000 Tokens – also die Antwort auf eine Frage. Bei einem Modell mit 40 Tokens pro Sekunde dauert eine 500-Token-Antwort ~12 Sekunden. Während dieser 12 Sekunden ist das Modell mit genau dieser Anfrage (bzw. der Gruppe von Anfragen, die parallel laufen) beschäftigt.
Die zentrale Größe ist daher nicht «Anfragen pro Sekunde», sondern Parallelität: Wie viele Mitarbeiter können gleichzeitig eine Anfrage stellen, ohne dass jeder auf den anderen wartet? Und: Wie schnell wird die Antwort, wenn 5, 10 oder 20 Mitarbeiter gleichzeitig schreiben?
Die Hardware-Zahlen: RTX-5090 in der Praxis
Die RTX-5090 hat 32 GB GDDR7 und 575 W TGP (offizieller NVIDIA-Angabe). Die relevanten Leistungsdaten für die typischen Modelle:
| Modell (Q4_K_M) | VRAM-Bedarf | Tokens/Sekunde (1 User) | Realistische Parallelität |
|---|---|---|---|
| 7–8B (z.B. Llama-3-8B, Qwen-2.5-7B) | ~5 GB | 60–100 tok/s | 5–10 gleichzeitige User |
| 14B (z.B. Qwen-2.5-14B) | ~10 GB | 40–65 tok/s | 3–6 gleichzeitige User |
| 32B (Qwen-2.5-32B, Q4) | ~20 GB | 25–40 tok/s | 2–4 gleichzeitige User |
| 70B (Q4) | ~40 GB – nicht möglich auf 32 GB | – | – |
Die 5090 ist schnell, aber 32 GB VRAM ist die Flaschenhals: Sie reicht für 7B–14B-Modelle mit großem Kontext und 2–4 zusätzlichen User-Session-Kontexten, aber nicht für ein 70B-Modell. Ab 32B wird das VRAM knapp, wenn mehrere User gleichzeitig mit langem Kontext arbeiten.
Realitätscheck: wie viele Mitarbeiter passen wirklich?
Nehmen wir ein typisches 30-Mann-Unternehmen: 30 Mitarbeiter, von denen ca. 10–15 die KI aktiv nutzen (der Rest nutzt sie gelegentlich oder gar nicht). In der typischen Nutzung stellen sich 2–5 Anfragen pro Minute parallel über den ganzen Tag verteilt – nicht alle 30 gleichzeitig um 9:00.
Hier die ehrliche Antwort für die RTX-5090:
- 5–15 Mitarbeiter (5–10 aktive Nutzer): Sehr komfortabel. 14B-Modell in Q6/Q8, 32K Kontext, Antworten in 8–15 Sekunden. RAG-Abfragen über Ihren Korpus laufen flüssig.
- 15–30 Mitarbeiter (10–20 aktive Nutzer): Machbar, aber Sie spüren die Parallelität. Bei 20 gleichzeitigen Anfragen wird die Antwortzeit auf 15–30 Sekunden. Ein kleiner Peak, nicht ein Problem – aber sichtbar.
- 30+ Mitarbeiter (20+ aktive Nutzer): Die 5090 wird zur Flaschenhals. Entweder Sie warten, oder Sie skalieren: zweite 5090-Maschine – oder der Sprung zur DGX Spark.
Der Punkt ist: Es kommt auf die Nutzungsdichte an, nicht auf die absolute Mitarbeiterzahl. Ein 200-Mann-Betrieb, in dem nur 10 Leute die KI aktiv nutzen, fährt die 5090 problemlos. Ein 25-Mann-Betrieb, in dem alle 25 die KI als Haupt-Arbeitstool nutzen, spürt die Grenze.
Was Sie in der Praxis beobachten sollten
Wenn Sie eine lokale KI betreiben, haben Sie drei Kennzahlen, die Sie im Auge behalten sollten:
- Antwort-Latenz: Wie schnell bekommt ein User seine Antwort? Über 20–30 Sekunden wird es unangenehm – dann ist die Parallelität überschritten.
- VRAM-Auslastung: Wenn das Modell nahe an der 32-GB-Grenze liegt, wird die Kontextgröße zur Begrenzung. Sie können die Kontextgröße pro User reduzieren, um Platz zu schaffen.
- Warteschlange: Ollama zeigt an, wie viele Anfragen gerade in der Queue sind. Wenn die Queue regelmäßig über 3–5 Anfragen geht, ist die Maschine überlastet.
LokaleKI konfiguriert diese Kennzahlen in Ihr Monitoring ein – Sie sehen im Dashboard, wie ausgelastet Ihre Maschine ist, und können rechtzeitig auf eine größere Hardware oder eine zusätzliche Instanz umsteigen, bevor es spürbar wird.
Die klare Empfehlung: 5090 oder Spark?
Die einfache Regel, die wir in der Praxis anwenden:
- 5–15 aktive Nutzer, Textanwendungen, RAG über moderaten Korpus: RTX-5090 (ca. 7.000 €) ist der Sweet Spot. Günstig, schnell, ausreichend.
- 15–50 aktive Nutzer, größerer Korpus, mehrere Abteilungen: NVIDIA DGX Spark (ca. 4.500 €, 128 GB). Das Modell darf 70B sein, der Kontext 32K–128K, die Parallelität ist deutlich höher.
- 50+ aktive Nutzer oder mehrere Standorte: zwei Spark-Maschinen, oder Spark + 5090 mit Lastverteilung.
Die RTX-5090 ist der richtige Einstieg, wenn Sie klein anfangen und sehen wollen, wie Ihre Mitarbeiter die KI annehmen. Der Sprung zur DGX Spark ist der nächste logische Schritt, wenn die Nutzung wächst. Beide setzen wir auf – mit dem Modell, dem Kontext und der RAG-Konfiguration, die zu Ihrem Betrieb passen (Setup ab 2.000 €).