Trefferquote: wie oft die Spanne wirklich stimmt

Diese Seite zeigt eine Spanne statt einer Zahl. Das klingt nach Bescheidenheit, ist aber eine überprüfbare Behauptung: Die Wahrheit liegt zwischen dem kältesten und dem wärmsten Modell. Eine Behauptung, die man nicht nachprüft, ist eine Meinung. Also wird sie hier nachgeprüft — an den eigenen, damals abgelegten Vorhersagen, gegen die später gemessene DWD-Höchsttemperatur.

Was hier gemessen wird — und warum das unbequem ist

Für jede archivierte Vorhersage wird gefragt: Lag die Temperatur, die später wirklich gemessen wurde, zwischen dem niedrigsten und dem höchsten Modellwert dieses Laufs? Daraus entsteht eine einzige Zahl, die Trefferquote.

Nur ist N nicht elf. Nachgezählt am 09.09.2026 über 29 Ausgabetage: KNMI, DMI und MET Norway geben ab dem dritten Vorlauftag in 100 % der Fälle bitgenau denselben Wert aus — drei Modelle, eine Meinung. Zusammen mit den Modellen, die gar nicht so weit rechnen, spannen am siebten Tag im Mittel nur noch 4,8 verschiedene Zahlen die Spanne auf, obwohl sieben Modelle antworten. Der Erwartungswert auf dieser Seite wird deshalb aus der Zahl der verschiedenen Werte gebildet, nicht aus der Zahl der Antwortenden. Bis zum 09.09.2026 stand hier die Modellzahl, und der Erwartungswert war dadurch zu hoch: am Tag +7 stand 75,0 % statt der richtigen 65,5 %. Die Spanne sah enger aus, als sie gemessen an ihrer eigenen Zusammensetzung ist. In der Tabelle unten steht beides nebeneinander. (Bis zum 30.09.2026 nannte dieser Satz den 08.09.2026; die Korrektur kam aber am 09.09.2026, wie es auch die Seite Elf Modelle — wie viele Meinungen? vermerkt.) Diese und alle anderen belegten Fehler der Seite stehen gesammelt im Fehlerprotokoll.

Diese Zahl kann auf zwei Arten schlecht ausfallen, und die zweite ist die unangenehmere. Ist sie zu niedrig, war die Spanne zu eng: Die Modelle waren sich einiger, als die Wirklichkeit es erlaubt. Ist sie zu hoch, war die Spanne zu weit — und eine Spanne, die praktisch immer recht behält, sagt nichts mehr aus. Sie wäre die bequemere Sorte Unehrlichkeit, weil sie nie widerlegt wird. Diese Seite ist deshalb nicht daran interessiert, dass die Zahl möglichst hoch ist, sondern daran, dass sie stimmt.

Als Maßstab dient, was eine ehrlich gestreute Spanne aus N gleichrangigen Werten erreichen müsste: (N−1)/(N+1). Bei elf Modellen wären das 10 von 12, also 83,3 %. Der Gedanke dahinter ist einfach: Wären Modelle und Wirklichkeit gleichwertige Ziehungen aus demselben Topf, dann fiele die Messung mit gleicher Wahrscheinlichkeit in jedes der zwölf Fächer, die elf Werte auf der Zahlengeraden bilden — und nur die beiden äußeren liegen außerhalb der Spanne.

Die Nachrechnung

Die Auswertung wird geladen …

Warum die Spanne mit dem Vorlauf schmaler wirkt, obwohl die Unsicherheit wächst

Ein Befund aus dieser Auswertung gehört ausdrücklich dazu, weil er die Zahlen sonst falsch lesen lässt: Die elf Modelle sind nur in den ersten Tagen elf. Nicht jedes Modell rechnet acht Tage weit. Nachgezählt am 08.09.2026 über die dreißig jüngsten Schnappschüsse dieses Archivs:

MeteoFrance liefert Werte bis Tag +3.
CMA-GRAPES bis Tag +4.
UKMO bis Tag +6.
Die übrigen acht reichen über den ganzen Zeitraum bis Tag +7.

Am Ende der Woche spannen also weniger Modelle die Spanne auf als am Anfang. Eine Spanne aus sieben Werten ist naturgemäß enger als eine aus elf — ein Teil der Verengung ist Buchhaltung, nicht Meteorologie. Wer das nicht weiß, schreibt sie dem Wetter zu. Genau deshalb steht in der Tabelle oben neben jeder Trefferquote die Zahl der beteiligten Modelle, und der Erwartungswert wird für diese Zahl gebildet und nicht pauschal für elf.

Was diese Zahlen nicht sagen

Punkt gegen Gitter. Die Messung stammt von einer DWD-Station, die Vorhersage von einem Modellgitterpunkt. Ein Teil jeder Abweichung ist dieser Unterschied und nicht der Fehler des Modells. Wie groß dieser Teil ist, weiß diese Seite nicht — sie behauptet es deshalb auch nicht. Ob der Fehler an einem Ort beständig in dieselbe Richtung geht, zeigt je Stadt die Ortsbilanz.
Ein Lauf je Ausgabetag. Gewertet wird nur der früheste Lauf eines Tages. Sonst würden Tage mit vier Schnappschüssen viermal so schwer wiegen wie Tage mit einem, und der Ausfall der Automatik im August hätte die Statistik rückwirkend verzerrt. Fehlen in einem Lauf Städte, weil der Dienst für sie nichts geliefert hat, zählt stattdessen der früheste vollständige Lauf desselben Tages; nur wenn es keinen gibt, der früheste überhaupt. Bis zum 01.10.2026 ist das im Archiv nie vorgekommen.
Ein begrenzter Zeitraum, und der ist keine Jahreszeit-Auswahl. Das Archiv beginnt im Juli 2026. Die Zahlen beschreiben, was in diesem Fenster passiert ist. Ob im Spätherbst dieselbe Quote herauskommt, ist offen — die Frage lässt sich erst beantworten, wenn das Archiv so weit ist. Bis dahin steht hier keine Vermutung. Wie gut die einzelnen Monate lagen — je Vorlauf getrennt, weil die Lücken im Archiv von Monat zu Monat verschieben, wie viele Vorhersagen mit langem Vorlauf darin stecken —, zeigt das Monatszeugnis.
Oben nur die Tageshöchsttemperatur. Den Tiefstwert prüft der Abschnitt Nacht — mit eigener Mindestzahl und eigenem Lückenbericht. Über Niederschlag, Wind oder Bewölkung sagt diese Auswertung nichts. Ob die Regenwahrscheinlichkeit stimmt, prüft die Regenprobe.
Der Erwartungswert (N−1)/(N+1) gilt streng nur für gleichrangige Ziehungen aus derselben Verteilung. Elf Modelle verschiedener Zentren sind das nicht: Sie teilen sich Beobachtungsdaten, physikalische Ansätze und teilweise sogar Programmcode. Die Linie in den Diagrammen ist deshalb ein Maßstab, kein Sollwert, den man erreichen müsste.

Nacht: trifft die Spanne auch den Tiefstwert?

Alles bis hierher gilt dem Höchstwert am Nachmittag. Ist die Nacht die schwierigere Hälfte? Es gibt Gründe, das zu vermuten: Unter klarem Himmel und ohne Wind kühlt der Boden aus, kalte Luft sammelt sich in Senken, und ein paar hundert Meter können über mehrere Grad entscheiden. Ob es so ist, soll das Archiv zeigen — nicht dieser Absatz. Inzwischen legt das Archiv auch den Tagestiefstwert ab, in der Vorhersage und in der Messung. Also wird hier dieselbe Behauptung geprüft wie oben: Liegt der gemessene Tiefstwert zwischen dem kältesten und dem wärmsten Modell? Dazu die Schlagseite — war die Nacht zu warm oder zu kalt vorhergesagt? — und wie weit die Mitte der Modelle im Mittel danebenlag.

Was hier als „Nacht“ zählt

Der Tiefstwert des Kalendertags, auf beiden Seiten gleich gebildet: das Minimum der Stundenwerte von 0 bis 23 Uhr — also die zweite Hälfte der Nacht davor bis zum Morgen, nicht ihr Abend. Zieht abends eine Kaltfront durch, ist es ein Abendwert.
Eigene Mindestzahlen: genug Vergleiche und genug verschiedene Nächte, denn die Städte einer Nacht teilen eine Wetterlage. Darunter steht „wächst noch“ statt einer Quote — auch keine vorläufige. Die Höchstwert-Zahlen oben bleiben davon unberührt; sie stehen in einer eigenen Datei.
Ein offener Lückenbericht. Seit wann gewertet wird und welche Städte gar nicht prüfbar sind, steht unten — mit den Zahlen aus der Datei.

Die Nacht-Auswertung wird geladen …

Selbst nachrechnen

Nichts davon musst du glauben. Das Ergebnis liegt als offene Datei bereit — /data/trefferquote.json, für die Nacht /data/trefferquote_tmin.json — und die Rohdaten, aus denen es entsteht, ebenfalls: die damals abgelegten Vorhersagen unter /data/forecasts/ und die gemessenen Werte in /data/measured.json. Die Datei nennt ihre eigenen Rechenregeln, den ausgewerteten Zeitraum und die Zahl der Fälle. Wer nachrechnet und etwas anderes herausbekommt, hat recht und diese Seite unrecht — wie das mit offenen Daten sein soll.

Warum eine Vorhersage überhaupt ein Ende hat — und was Lorenz dazu wirklich geschrieben hat —, steht auf der Seite Vorhersagbarkeit; dort liegt auch die Kurve, die zeigt, wie schnell der Fehler mit dem Vorlauf wächst. Ob die Vorhersage dabei überhaupt besser ist als „wie gestern“ oder „wie immer um diese Zeit“, rechnet Faustregel nach. Wie gut gerade die Hitzetage getroffen wurden — und warum die Antwort davon abhängt, ob man nach der Messung oder nach der Ansage filtert —, steht in Hitzetage im Rückspiegel. Der Schritt davor steht im Feldbericht: Dort wird nicht die Spanne geprüft, sondern jedes Modell einzeln — welches lag im Mittel am nächsten dran. Warum die Modelle überhaupt auseinanderlaufen, erklärt Elf Modelle — wie viele Meinungen? und Die Wettermodelle; wie aus einem Ensemble ein Fächer wird, zeigt Der Ensemble-Fächer. Wie eine Vorhersage von Lauf zu Lauf wandert, steht in Vorhersagedrift. Die Quellen und die Rechenwege der Startseite stehen in Methodik & Quellen.

Wie schwer es ist, selbst eine ehrliche Spanne anzugeben, lässt sich ausprobieren: Im Spannen-Quiz gibst du für echte Fälle aus diesem Archiv eine 80-%-Spanne an und siehst nach zehn Runden, ob du so oft triffst wie versprochen — und ob deine Spannen schmaler sind als die der Modelle.