4B, 70B, 397B-A17B. Was die Zahlen bei offenen KI-Modellen wirklich bedeuten
Wer offene Modelle beschafft, stösst zuerst auf Zahlen. Sie entscheiden über Hardware, Kosten und darüber, ob ein Modell die Aufgabe überhaupt bewältigt. Eine Erklärung ohne Fachjargon, mit nachgerechneten Beispielen.
Kurz gefasst
- Die Parameterzahl ist eine Grössenangabe, keine Qualitätsnote. Sie sagt, wie viel Platz das Modell im Grafikspeicher braucht, nicht wie gut es Ihre Aufgabe löst.
- Bei «397B-A17B» zählen beide Zahlen. Die erste bestimmt den Speicher, die zweite das Tempo. Ein Modell kann riesig sein und trotzdem schnell antworten.
- Deutsch kostet rund doppelt so viele Tokens wie Englisch. Gemessen: Derselbe Verwaltungssatz braucht auf Deutsch 32 Tokens, auf Englisch 15. Das schlägt direkt auf Preis und Kontextlänge durch. Nachgerechnet im Abschnitt Tokens.
In jeder Beschaffungsdiskussion über offene Modelle fällt früher oder später ein Satz wie «Nehmen wir das 70B oder reicht das 14B?». Dahinter steckt die Annahme, die Zahl sei eine Art Leistungsklasse, so wie PS beim Auto. Das stimmt nur zum Teil, und der Teil, der nicht stimmt, kostet in der Praxis am meisten Geld.
Was ein Parameter ist
Ein Sprachmodell besteht aus einer sehr grossen Zahl eingestellter Werte. Diese Werte heissen Parameter. Man kann sie sich als Stellschrauben vorstellen, die beim Training so justiert wurden, dass das Modell auf einen gegebenen Text die passende Fortsetzung erzeugt.
«B» steht für Billion im englischen Sinn, also Milliarde. Ein 14B-Modell hat rund 14 Milliarden solcher Stellschrauben, ein 70B-Modell 70 Milliarden. Mehr Parameter heisst zunächst nur: mehr Platz für Gelerntes. Es heisst nicht automatisch, dass das Modell Ihre Aufgabe besser löst.
Die Parameterzahl ist eine Grössenangabe, keine Qualitätsnote. Ein gut trainiertes 30B-Modell schlägt in vielen Aufgaben ein schlecht trainiertes 100B-Modell. Was die Zahl zuverlässig vorhersagt, ist der Hardwarebedarf.
Was die Zahl für die Hardware bedeutet
Hier wird die Parameterzahl konkret. Jeder Parameter belegt Platz im Grafikspeicher, und wie viel, hängt vom Zahlenformat ab. In der ursprünglichen Genauigkeit belegt ein Parameter zwei Byte. Rechnet man das Modell auf eine gröbere Skala um, was «Quantisierung» heisst, wird es kleiner: bei 8 Bit ein Byte, bei 4 Bit ein halbes.
70 Milliarden × 2 Byte. Passt auf keine einzelne Grafikkarte.
Halbiert. Läuft auf einer 80-GB-Karte, aber ohne Reserve.
Nochmals halbiert. Läuft auf einer 48-GB-Karte, mit Qualitätsverlust.
Quantisierung ist also der Hebel, mit dem ein Modell auf bezahlbare Hardware passt. Sie ist nicht gratis: Je gröber die Skala, desto eher patzt das Modell bei Aufgaben, die Präzision verlangen, etwa beim Rechnen oder bei langen logischen Ketten. Für Textzusammenfassungen fällt der Unterschied kaum auf, bei Codegenerierung sehr wohl.
Zur Rechnung: Zu den Werten oben kommen im Betrieb 10 bis 20 Prozent Zuschlag für den sogenannten Kontextspeicher, in dem das Modell die laufende Unterhaltung hält. Je länger die Eingaben, desto grösser dieser Anteil. Die Tabelle weiter unten rechnet damit.
Warum «397B-A17B» zwei Zahlen hat
Bei aktuellen Modellen steht oft eine zweite Zahl hinter dem Bindestrich, etwa Qwen3.5-397B-A17B oder Nemotron-3-Nano-30B-A3B. Das «A» steht für aktiv.
Solche Modelle sind intern in Fachbereiche unterteilt, in der Fachsprache «Experten». Für jede Anfrage wird nur ein Teil davon eingeschaltet. Bei 397B-A17B sind 397 Milliarden Parameter vorhanden, aber pro Anfrage rechnen nur 17 Milliarden mit.
Für die Beschaffung folgt daraus eine Regel, die oft übersehen wird:
Die erste Zahl bestimmt den Speicher, die zweite das Tempo. Alle Experten müssen geladen sein, auch die, die gerade nicht rechnen. Ein 397B-A17B-Modell braucht den Speicher eines 397B-Modells und antwortet dabei ungefähr so schnell wie ein 17B-Modell.
Das ist der Grund, weshalb solche Modelle bei Anbietern in der Cloud günstig wirken und im eigenen Rechenzentrum trotzdem teuer sind. Der Anbieter verteilt den Speicher über viele Kunden, Sie hätten ihn für sich allein.
Was welche Grössenklasse kann
Die folgende Einteilung nennt für jede Klasse ein Modell, das ein Schweizer Anbieter heute tatsächlich betreibt, dazu den Speicherbedarf und die typische Grenze. Die Zuordnung ist eine Erfahrungsregel, kein Benchmark.
Grössenklassen im Überblick
Klassifizieren, Stichworte ziehen, Ähnlichkeiten finden. Läuft auf einem Notebook. Für freie Formulierung zu schwach.
Zusammenfassen, Entwürfe, Standardauskünfte. Deckt einen grossen Teil der Verwaltungsaufgaben ab. Eine Karte genügt.
Längere Argumentationen, Fachsprache, mehrsprachige Dokumente. Ab hier wird die Hardware zum Kostenfaktor.
Komplexe Codearbeit, schwierige Analysen. Im Eigenbetrieb braucht es mehrere Karten. Selten die erste Wahl.
| Modell | Gesamt | Aktiv | Speicher 4 Bit | Passt auf | Typische Aufgabe |
|---|---|---|---|---|---|
| Qwen3-Embedding-8B | 8B | – | 4 GB | Notebook | Suche, Dokumente vergleichen |
| Ministral-3-14B | 14B | – | 7 GB | eine 24-GB-Karte | Zusammenfassen, Entwürfe |
| Nemotron-3-Nano-30B-A3B | 30B | 3B | 15 GB | eine 24-GB-Karte | schnelle Auskünfte im Dialog |
| Gemma-4-31B | 31B | – | 16 GB | eine 24-GB-Karte | Fliesstext, Übersetzung |
| Apertus-v1.5-70B | 70B | – | 35 GB | eine 48-GB-Karte | Fachtexte, mehrsprachig |
| Qwen3.5-122B-A10B | 122B | 10B | 61 GB | eine 80-GB-Karte | anspruchsvolle Analysen |
| Qwen3.5-397B-A17B | 397B | 17B | 198 GB | drei Karten | Code, komplexe Aufgaben |
Speicher = Parameter × 0,5 Byte bei 4-Bit-Quantisierung. «Passt auf» rechnet 15 Prozent Reserve für den Kontextspeicher ein. Modellauswahl: Katalog von Infomaniak, Stand 7. August 2026. Die Spalte «Typische Aufgabe» ist eine redaktionelle Einordnung, kein Messergebnis.
Bemerkenswert an dieser Tabelle ist die fünfte Zeile. Apertus ist ein an der ETH Zürich und der EPFL entwickeltes Modell, dessen Trainingsdaten offengelegt sind. Für Stellen, die nicht nur wissen müssen, wo ein Modell läuft, sondern auch, womit es trainiert wurde, ist das ein Unterschied, den keine Parameterzahl ausdrückt.
Tokens: die Einheit, in der abgerechnet wird
Modelle lesen keine Buchstaben und keine Wörter, sondern Tokens. Ein Token ist ein Textbaustein, mal ein ganzes Wort, mal eine Silbe, mal ein einzelnes Zeichen. Danach richten sich zwei Dinge: der Preis und die Frage, wie viel Text auf einmal hineinpasst.
Wie viele Tokens ein Text ergibt, lässt sich messen. Wir haben vier Textproben durch den Tokenizer von Qwen2.5 geschickt:
| Text | Zeichen | Tokens | Zeichen je Token |
|---|---|---|---|
| «Die Einwohnerkontrolle prüft die Niederlassungsbewilligung und erteilt eine Aufenthaltsbestätigung.» | 99 | 32 | 3,1 |
| Derselbe Inhalt auf Englisch | 92 | 15 | 6,1 |
| «Krankenversicherungsprämienverbilligung, Grundstückgewinnsteuerveranlagung, Arbeitslosenversicherungsbeitrag.» | 109 | 33 | 3,3 |
| Eine A4-Seite Verwaltungsdeutsch | 1600 | rund 500 | 3,2 |
Gemessen am 7. August 2026 mit dem Tokenizer von Qwen2.5. Zum Vergleich mit GPT-NeoX und GPT-2 nachgerechnet, dort fällt Deutsch mit 2,8 bis 2,9 Zeichen je Token noch etwas ungünstiger aus. Die drei Wortungetüme in Zeile drei bestehen aus drei Wörtern und ergeben 33 Tokens.
Deutsch kostet ungefähr doppelt so viele Tokens wie Englisch. Derselbe Sachverhalt, 32 gegen 15 Tokens. Wer Preise oder Kontextlängen aus englischsprachigen Quellen übernimmt, rechnet für den deutschen Betrieb systematisch zu tief.
Der Grund liegt in der Bauweise der Tokenizer: Sie wurden überwiegend auf englischem Text entwickelt. Deutsche Zusammensetzungen wie «Niederlassungsbewilligung» kommen dort selten vor und werden deshalb in viele kleine Stücke zerlegt, während englische Wörter meist als Ganzes durchgehen.
Was das praktisch heisst
Zwei Konsequenzen, die in Beschaffungsunterlagen regelmässig fehlen. Erstens beim Preis: Ein Angebot mit «CHF 0.20 pro Million Tokens» klingt gleich, egal in welcher Sprache. Für dieselbe Menge Inhalt zahlen Sie auf Deutsch etwa das Doppelte.
Zweitens beim Kontextfenster. Wenn ein Modell «128k Kontext» angibt, sind das 128 000 Tokens. Auf Deutsch entspricht das rund 256 A4-Seiten, auf Englisch fast doppelt so vielen. Wer ein Modell auswählt, weil ein bestimmtes Dossier hineinpassen soll, muss mit der deutschen Zahl rechnen.
Damit lässt sich jedes Angebot in Seiten umrechnen.
Auf Englisch wären es fast doppelt so viele.
Gilt für Preis und Kontext gleichermassen.
Worauf Sie achten sollten
Die Zahlen sind nützlich, aber sie beantworten nicht die Frage, die zählt: Kann das Modell die Aufgabe erledigen, um die es geht? Diese Frage beantwortet nur ein Test mit Ihren eigenen Unterlagen.
Was wir empfehlen
Beginnen Sie in der Klasse 14B bis 31B. Sie deckt Zusammenfassen, Entwürfe und Standardauskünfte ab, läuft auf einer einzelnen Grafikkarte und kostet in der Cloud wenig. Erst wenn ein konkreter Fall daran scheitert, lohnt der Schritt nach oben.
Für Stellen mit Nachweispflichten ist Apertus einen eigenen Blick wert: Das Modell stammt von der ETH Zürich und der EPFL, die Trainingsdaten sind offengelegt. Damit lässt sich nicht nur belegen, wo es läuft, sondern auch, womit es gelernt hat. Die Einordnung steht in unserer Vergleichsmatrix.
Und unabhängig von der Grösse: Testen Sie mit zehn echten Vorgängen aus Ihrem Haus, bevor Sie entscheiden. Das kostet einen halben Tag und beantwortet mehr als jede Parametertabelle.
Beim Lesen von Angaben zu KI-Modellen
- Bei zwei Zahlen wie 122B-A10B immer die erste für den Speicher nehmen, die zweite für das Tempo. Angebote, die nur die kleinere nennen, verschweigen den Hardwarebedarf.
- Fragen, in welchem Zahlenformat der genannte Speicherbedarf gilt. «Läuft auf einer Karte» stimmt bei 4 Bit oft und bei voller Genauigkeit fast nie.
- Kontextlängen und Preise auf Deutsch umrechnen, nicht aus englischen Datenblättern übernehmen. Faustregel: 500 Tokens je A4-Seite.
- Die Parameterzahl nicht als Rangliste lesen. Zwei Modelle derselben Grösse können sich in der Praxis deutlich unterscheiden.
- Vor der Entscheidung mit eigenen Dokumenten testen, nicht mit Beispielen des Anbieters.
Offene Fragen
Unsicher, welche Klasse für Ihren Fall reicht?
Wenn Sie gerade vor so einer Entscheidung stehen oder ein Modell mit eigenen Unterlagen ausprobieren möchten: In einem Erstgespräch schauen wir uns Ihren konkreten Fall an und rechnen die Grössenordnung gemeinsam durch. Ohne Verkaufsdruck.
Quellen
- Eigene Erhebung. Modellkatalog und Preise, Infomaniak AI Services, abgerufen am 7. August 2026 · infomaniak.com
- Schweiz. Apertus, offenes Sprachmodell von der ETH Zürich, der EPFL und dem CSCS · huggingface.co/swiss-ai
- Eigene Messung. Tokenzahlen, ausgewertet mit den Tokenizern von Qwen2.5, GPT-NeoX-20B und GPT-2 über die Bibliothek transformers, 7. August 2026
- Eigene Rechnung. Speicherbedarf, Parameter × Bytes je Zahlenformat, zuzüglich 15 Prozent für den Kontextspeicher
- In eigener Sache. digitario, Vergleichsmatrix KI-Coding-Tools · digitario.ch/ki-coding-tools-vergleich
Berät Verwaltungen und Unternehmen bei Beschaffung und Einführung von KI-Systemen. Pflegt die Vergleichsmatrizen auf dieser Seite.