Kombination von NWV- und Nowcasting-Ensembles zur Verbesserung der Vorhersagen konvektiven Starkniederschlags des DWD im Rahmen von SINFONY

<p>Verlässliche Niederschlagsvorhersagen innerhalb des Kürzestfristbereichs sind unerlässlich für präzise Warnungen und können die Vorlaufzeit für Entscheidungsträger im Bereich der Gefahrenabwehr und des Rettungswesens erhöhen. In der operationellen Wettervorhersage beruhen Vorhersage und Warnung vor konvektivem Starkniederschlag innerhalb der ersten zwei Stunden auf radarbasierten Nowcastingverfahren, während für spätere Zeitpunkte Simulationen konvektionserlaubender Ensemblevorhersagesysteme genutzt werden.</p> <p>Im Rahmen des Projekts SINFONY (Seamless INtegrated FOrecastiNg sYstem) des Deutschen Wetterdienstes wird ein integriertes Ensemblesystem auf konvektiver Skala im Bereich der Kürzestfristvorhersage entwickelt. Um die optimale Kombination der bisher unabhängigen Systeme von Nowcasting und numerischer Wetterverhorsage zu erleichtern, wurde mit STEPS-DWD eine Adaption des weitverbreiteten STEPS (u.a. Seed 2003, Bowler et al., 2006) als Nowcast-Ensemble in den Testbetrieb überführt. Basis der NWV ist ICON-D2-RUC, welches derzeit stündlich initialisiert  Ensemblevorhersagen bis +8h Stunden mit einer horizontalen Auflösung von 2,2km liefert. Kernkomponenten dieser Modellversion sind die Nutzung eines Zwei-Momenten-Mikrophysikschemas sowie die zusätzliche Assimilation von hochaufgelösten Fernerkundungsdaten wie 3D-Radardaten und Meteosat-SEVIRI-Daten.</p> <p>Auf Basis der zwei vorangenannten Ensemblesysteme STEPS-DWD und ICON-D2-RUC werden zwei Methoden zur Kombination der Vorhersagen dieser Systeme präsentiert. In einem ersten Verfahren wird die Methode nach Nerini et al., 2019 adaptiert. Hierbei werden die Vorhersagen von Reflektivitäten und Regenraten im physischen Raum auf Basis eines Ensemble-Kalmanfilters kombiniert. Durch eine zeitlich und räumliche Auflösung von fünf Minuten bzw. 1x1km wird unter Beibehaltung eines realistischen Aussehens der Niederschlagssysteme eine Möglichkeit zur Abschätzung der weiteren Entwicklung bis +6h geschaffen.<br /><br />Weiterhin wird eine neue statistische Methode vorgestellt, mit der prognostizierte Niederschlagssummen auf Basis Neuronaler Netze (NN) im Wahrscheinlichkeitsraum kombiniert werden (vgl. Schaumann et al., 2021). Ziel ist es, mit einem Training sowohl nahtlose und kalibrierte Vorhersagen zu erhalten, als auch konsistente Überschreitungswahrscheinlichkeiten gegenüber allen Schwellwerten zu erreichen. Für die Optimierung wurden drei Datensätze von jeweils drei Monaten verwendet, wobei die Datensätze A & B Ensemble-MOS und RadVOR mit einer jeweiligen horizontalen Auflösung von 20km beinhalten. In Datensatz C werden Vorhersagen eines dreistündig initialisierten ICON-D2-RUC sowie STEPS-DWD mit einer Auflösung von 2,2km verwendet. Die Hyperparameter der NN wurden mit Datensatz A optimiert und die daraus resultierenden NN mittels Rolling Origin Validation auf Datensatz B & C validiert. Hieraus werden Vorhersagen mit einer zeitlichen Auflösung von 1h bis +6h erzeugt.<br /><br />Für beide Verfahren wird durch mehrere Verifikationsmetriken (FSS, Bias, Brier Skill Score, Reliability und Reliability-Diagramm) gezeigt, dass die kombinierten Vorhersagen für alle Vorhersagezeiten gleich oder besser als die der individuellen Systeme sind.</p>

Evolving Ensembles

An ensemble forecast method using evolutionary programming, including various forms of genetic exchange, disease, mutation, and the training of solutions within ecological niches, is presented. A 2344-member ensemble generated in this way is tested for 60-h minimum temperature forecasts for Chicago, Illinois. The ensemble forecasts are superior in both ensemble average root-mean-square error and Brier skill score to those obtained from a 21-member operational ensemble model output statistics (MOS) forecast. While both ensembles are underdispersive, spread calibration produces greater gains in probabilistic skill for the evolutionary program ensemble than for the MOS ensemble. When a Bayesian model combination calibration is used, the skill advantage for the evolutionary program ensemble relative to the MOS ensemble increases for root-mean-square error, but decreases for Brier skill score. Further improvement in root-mean-square error is obtained when the raw evolutionary program and MOS forecasts are pooled, and a new Bayesian model combination ensemble is produced. Future extensions to the method are discussed, including those capable of producing more complex forms, those involving 1000-fold increases in training populations, and adaptive methods.

Correcting mean and extremes in monthly precipitation from 8 regional climate models over Europe

We corrected monthly precipitation from 8 regional climate models using statistical bias correction. All models were corrected according to observations and parameters for bias correction were obtained for all models separately in every grid cells over European domain, using data between 1961 and 1990. Bias correction was validated in the period between 1991 and 2010 with RMSE, Brier score and Brier skill score. The results are encouraging, as mean and extremes were effectively corrected. After applying correction, large biases over Alps, at the East Adriatic cost, west coast of Norway and at the east end of the domain were removed. RMSE of corrected precipitation was lower than RMSE of simulated in 85% of European area and correction for all models failed in only 1.5% of European area. Also extremes were effectively corrected. According to the Brier skill score the probability for dry months was corrected in more than 52% of the European area and heavy precipitation events were corrected in almost 90% of the area. All validation measures suggest the correction of monthly precipitation was successful and therefore we can argue that the corrected precipitation fields will improve results of the climate impact models.

The Skill of Probabilistic Precipitation Forecasts under Observational Uncertainties within the Generalized Likelihood Uncertainty Estimation Framework for Hydrological Applications

A methodology for evaluating ensemble forecasts, taking into account observational uncertainties for catchment-based precipitation averages, is introduced. Probability distributions for mean catchment precipitation are derived with the Generalized Likelihood Uncertainty Estimation (GLUE) method. The observation uncertainty includes errors in the measurements, uncertainty as a result of the inhomogeneities in the rain gauge network, and representativeness errors introduced by the interpolation methods. The closeness of the forecast probability distribution to the observed fields is measured using the Brier skill score, rank histograms, relative entropy, and the ratio between the ensemble spread and the error of the ensemble-median forecast (spread–error ratio). Four different methods have been used to interpolate observations on the catchment regions. Results from a 43-day period (20 July–31 August 2002) show little sensitivity to the interpolation method used. The rank histograms and the relative entropy better show the effect of introducing observation uncertainty, although this effect on the Brier skill score and the spread–error ratio is not very large. The case study indicates that overall observation uncertainty should be taken into account when evaluating forecast skill.

Sampling Uncertainty and Confidence Intervals for the Brier Score and Brier Skill Score

For probability forecasts, the Brier score and Brier skill score are commonly used verification measures of forecast accuracy and skill. Using sampling theory, analytical expressions are derived to estimate their sampling uncertainties. The Brier score is an unbiased estimator of the accuracy, and an exact expression defines its sampling variance. The Brier skill score (with climatology as a reference forecast) is a biased estimator, and approximations are needed to estimate its bias and sampling variance. The uncertainty estimators depend only on the moments of the forecasts and observations, so it is easy to routinely compute them at the same time as the Brier score and skill score. The resulting uncertainty estimates can be used to construct error bars or confidence intervals for the verification measures, or perform hypothesis testing. Monte Carlo experiments using synthetic forecasting examples illustrate the performance of the expressions. In general, the estimates provide very reliable information on uncertainty. However, the quality of an estimate depends on both the sample size and the occurrence frequency of the forecast event. The examples also illustrate that with infrequently occurring events, verification sample sizes of a few hundred forecast–observation pairs are needed to establish that a forecast is skillful because of the large uncertainties that exist.

Proper Scores for Probability Forecasts Can Never Be Equitable

Verification is an important part of any forecasting system. It is usually achieved by computing the value of some measure or score that indicates how good the forecasts are. Many possible verification measures have been proposed, and to choose between them a number of desirable properties have been defined. For probability forecasts of a binary event, two of the best known of these properties are propriety and equitability. A proof that the two properties are incompatible for a wide class of verification measures is given in this paper, after briefly reviewing the two properties and some recent attempts to improve properties for the well-known Brier skill score.