Vault Model Museum

Parameter

124M

Quantisierung

none

Lizenz

MIT

Serving

Nur Plakette

Der Urahn dieser Halle. OpenAI veröffentlichte GPT-2 im Februar 2019 zunächst nur in dieser kleinsten Stufe — 124 Millionen Parameter —, während die größeren Modellgrößen der Familie (bis 1,5 Milliarden Parameter) monatelang zurückgehalten wurden. Der Grund: Sorge vor automatisierter Desinformation und Identitätsbetrug. Erst im November desselben Jahres, nachdem OpenAI "keine belastbaren Missbrauchsfälle" fand, folgte die Vollversion — aus heutiger Sicht fast rührend vorsichtig, gemessen an dem, was Jahre später klaglos freigegeben wurde. Ohne Chat-Format und Instruction-Tuning vervollständigt dieses Modell Text, statt zu antworten. Seine wirren, abschweifenden Ausgaben sind kein Fehler, sondern der Zustand der Kunst von 2019. In P1 nur als Plakette ausgestellt — Bespielbarkeit im Browser (WebLLM) kommt in P2.

Parameter

7B

Quantisierung

Q4_K_M

Lizenz

Apache-2.0

Serving

Desktop-Serving

Der Moment, in dem ein europäisches Startup zeigte, dass es mit den US-Laboren mithalten kann. Am 27. September 2023 veröffentlichte das gerade gegründete französische Unternehmen Mistral AI dieses 7-Milliarden-Parameter-Modell — und es schlug in praktisch allen Benchmarks das fast doppelt so große Llama 2 13B. Der technische Trick: Sliding-Window-Attention, bei der jede Schicht nur die letzten 4.096 Token direkt betrachtet, kombiniert mit Grouped-Query-Attention für schnellere Inferenz. Wichtiger Hinweis zur Redlichkeit dieser Plakette: "v0.1" ist ein reines Basismodell ohne Chat-Feinschliff. Es führt Text fort, statt zu antworten — genau so kam es damals heraus, die instruction-getunte Variante folgte separat. Quantisiert (Q4_K_M) für den Museums-Rechner; läuft auf TimHackX670 (Desktop-Serving) — wenn der Rechner aus ist, schläft das Exponat.

Parameter

1.1B

Quantisierung

Q4_K_M

Lizenz

Apache-2.0

Serving

Desktop-Serving

Das Experiment: Wie weit kommt man mit nur 1,1 Milliarden Parametern, wenn man auf 3 Billionen Token trainiert? Ein akademisches Team (Singapore University of Technology and Design) startete das Training am 1. September 2023 und veröffentlichte das fertige Modell im Januar 2024 — bewusst weit jenseits dessen, was die "Chinchilla"-Skalierungsgesetze als effizient gelten lassen würden. Die Motivation kam aus Llama 2s eigenem Paper: Selbst nach zwei Billionen Token zeigten größere Modelle keine Sättigung. TinyLlama testet, ob das auch für Winzlinge gilt — und liefert den Beweis, dass brauchbare Sprachmodelle auf gewöhnlicher Consumer-Hardware laufen können, nicht nur in Rechenzentren. Apache-2.0, Llama-2-kompatible Architektur, quantisiert (Q4_K_M) — läuft auf TimHackX670 (Desktop-Serving).