Zum Inhalt

Tempo und Energie

Bannerbild: die Überschrift „Tempo und Energie“ neben einem gebauten Balkendiagramm, das die Zeit bis zum ersten Zeichen der Dauer einer ganzen Antwort gegenüberstellt.

Wie schnell ist die Plattform, und was kostet sie an Strom? Beides lässt sich behaupten. Diese Seite zeigt stattdessen, wie gemessen wird — und was die eine Messung hergibt, die vorliegt.

Ein gemessener Lauf

Eine gebaute Tabelle mit sieben Messgrößen: Zeit bis zum ersten Zeichen, Dauer einer ganzen Antwort, Ausgabe-Tempo, Abstand zweier Token, Energie je Antwort, Energie je Token und Token je Joule — jeweils mit Einheit, Mittelwert und der Spanne des 95-Prozent-Bereichs.

Diese Tabelle ist nicht abgetippt. Sie wird bei jedem Bau aus dem Messbericht gelesen — eine Zahl, die sich ändert, ändert sich hier mit.

Gemessen am 29. Juni 2026, ein örtlich laufendes Sprachmodell mit sieben Milliarden Parametern, zehn Anfragen. Der Bericht nennt alle zehn Energiewerte „gemessen“ — zu Unrecht: das Werkzeug setzte diese Angabe damals ohne Prüfung, hielt die Quelle nicht fest und zog den Leerlauf nicht ab. Woher die zehn Werte stammen, ist deshalb unbekannt, und sie enthalten den Grundverbrauch des Rechners. Die Zeiten und Token-Zahlen betrifft das nicht.

Was diese Zahlen bedeuten

Größe Wofür sie steht
Zeit bis zum ersten Zeichen wie lange es still bleibt, bevor die Antwort beginnt
Dauer einer ganzen Antwort wie lange es bis zum letzten Zeichen dauert
Ausgabe-Tempo wie schnell geschrieben wird, sobald es losgeht
Abstand zweier Token dasselbe von der anderen Seite: die Pause zwischen zwei Textteilen
Energie je Antwort die zusätzliche elektrische Arbeit für diese eine Anfrage
Energie je Token derselbe Wert, auf die Textmenge bezogen
Token je Joule die Effizienz — mehr ist besser

Die erste Zahl ist die, die man spürt. Die letzten drei sind die, über die sonst niemand spricht.

Wie die Zahl entsteht

Die Energie wird integriert. Die momentane Leistung wird während der Anfrage laufend abgelesen und über die Zeit aufsummiert. Vor dem ersten Ziel eines Laufs wird der Leerlauf des Rechners bestimmt und abgezogen — was übrig bleibt, ist die zusätzliche Arbeit der Anfrage, nicht der Verbrauch des ganzen Geräts. Lässt sich der Leerlauf nicht bestimmen, steht im Bericht „nicht abgezogen“, und die Zahl ist brutto.

Woher die Leistung kommt, hängt vom Rechner ab, und das wird auseinandergehalten:

Quelle Güte
Grafikkarte von NVIDIA am Board gemessene Watt — die einzige gemessene Quelle
Prozessor Auslastung mal angenommener Leistungsaufnahme: ein Modell, unter Windows wie unter Linux — die Energiezähler unter Linux sind nicht angebunden
Grafikkarte von AMD oder Intel dasselbe Modell, weil Windows keinen Leistungszähler dafür anbietet

Wie gut ein Modellwert ist, hängt daran, wie gut die angenommene Leistungsaufnahme zum Rechner passt. Ein Modellwert ist kein Messwert. Beides in eine Spalte zu schreiben, machte den Bericht vollständiger, als er ist — deshalb führt jede einzelne Zahl mit, woher sie stammt. Ist auch nur ein Anteil modelliert, etwa der Prozessor neben einer NVIDIA-Karte, gilt die ganze Zahl als Modell. Jeder Bericht hält dazu die Quelle, den abgezogenen Leerlauf und den Rechner fest, auf dem er entstand.

Warum keine Zahl allein steht

Drei Vorkehrungen, ohne die eine Leistungsangabe wertlos ist:

  • Spanne statt Punkt. Neben jedem Wert steht der Bereich, in dem der wahre Wert mit 95 Prozent Wahrscheinlichkeit liegt. Bei zehn Anfragen ist der breit — und genau das soll man sehen.
  • Mittelwert für Zeiten, Median für Tempo. Ein einzelner Ausreißer zieht einen Mittelwert weit; bei Raten wird deshalb der mittlere Wert genommen.
  • Unmessbar heißt unmessbar, nicht schnell. Liefert ein Dienst mehrere Textteile in einem Schwung statt einzeln, sieht das rechnerisch nach absurdem Tempo aus. Solche Messungen werden aussortiert statt als Rekord gefeiert. Die Obergrenze steht fest im Werkzeug, mit den Werten, an denen sie sich bewährt hat.

Was diese Seite nicht sagt

Es gibt einen Bericht: ein Modell, ein Rechner, zehn Anfragen. Das ist eine Methode, keine Bestenliste. Wer daraus ableitet, die Plattform sei schneller oder sparsamer als etwas anderes, liest mehr, als dasteht.

Für Anfragen an einen Dienst im Netz lässt sich die Energie nicht messen — sie kann nur aus Modell und öffentlichen Angaben rekonstruiert werden. Solche Werte werden als rekonstruiert geführt und nie als Messung ausgegeben.

Verwandt: KI-Transparenz · Technologie