SciELO - Scientific Electronic Library Online

 
vol.39 número2Progreso en el modelo de pronostico de olas hasta un mosaico global multiescala índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

  • No hay articulos citadosCitado por SciELO

Links relacionados

  • No hay articulos similaresSimilares en SciELO

Compartir


Meteorologica

versión On-line ISSN 1850-468X

Meteorologica vol.39 no.2 Ciudad Autónoma de Buenos Aires dic. 2014

 

NOTAS Y CORRESPONDENCIA

La utilización del met (model evaluation tool) para la verificación de los pronósticos del modelo wrf-arw/shn-smn durante la primavera de 2011

 

Gisela D. Charó1,2,4, Estela A. Collini1,2 y M. Eugenia Dillon1,3

1Servicio Meteorológico Nacional. CABA, Argentina
2Servicio de Hidrografía Naval. CABA, Argentina
3CONICET. CABA, Argentina
4Departamento de Matemática. FCEyN. UBA. CABA, Argentina

Dirección Electrónica: charogiselad@gmail.com

Manuscrito recibido el 2 de julio de 2013,
en su versión final el 4 de diciembre de 2013


Resumen

En este trabajo se evalúa el desempeño del MET v3.1 (Model Evaluation Tool) para la verificación durante la primavera de 2011, de los pronósticos del modelo WRF-ARW (Weather Research and Forecasting - Advanced Research WRF) v3.1.1 (WRF-ARW/SHN-SMN), cuya configuración y aplicaciones se describen en el presente artículo.
Entre las herramientas del MET v3.1, se implementaron el Point-Stat, el Stat-Analysis y el MODE y se estudiaron las bases matemáticas y capacidades de cada una. Se aplicó a la comparación de resultados del modelo con observaciones de radiosondeo, ya que por sus características lo hacen eficiente para realizar la verificación en forma rápida y completa con este tipo de observaciones. Para el caso de variables de superficie se estudió las capacidades del MODE, que por estar orientado a objetos, ofrece nuevas posibilidades para la verificación de la precipitación.
El Point-Stat se aplicó para verificar pronósticos con observaciones puntuales, y el Stat-Analysis se utilizó para calcular estadísticos para distintos períodos de tiempo. Se compararon los pronósticos con radiosondeos. Las variables verificadas fueron la temperatura y el viento en los niveles estándar.
Se generaron gráficos de dispersión entre las observaciones y los pronósticos. Se calcularon las distribuciones de las frecuencias relativas del error del pronóstico, presentadas en histogramas y diagramas de caja, y se realizó una comparación entre los errores absolutos de los modelos ETA-SMN y WRF-ARW/SHN-SMN. Estos resultados permitieron concluir que la calidad de los pronósticos del WRF-ARW/SHN-SMN varía según: hora de pronóstico, características geográficas de la estación meteorológica, la variable y nivel de presión.
Se estudiaron los resultados de la aplicación del MODE con el fin de estudiar un caso de precipitación intensa. Se utilizaron estimaciones del Tropical Rainfall Measuring Mission (TRMM), se comparó la intensidad de la precipitación pronosticada, el área cubierta, la forma y el ángulo de inclinación del área, entre otros atributos.
El MET no sólo abarca los métodos estadísticos tradicionales de verificación de pronóstico, sino también los más modernos desarrollos en lógica difusa. Es por este motivo que constituye una herramienta completa y lo que mostramos en este trabajo es su potencial aplicación a través de un ejemplo.

Palabras clave: Verificación; Met; Point-Stat; Stat-Analysis; Mode.

Abstract

Application of met (model evaluation tool) for the verification of the wrf-arw/shn-smn model forecasts during the 2011 spring

In this article we evaluate the MET v3.1 (Model Evaluation Tool) used for verification of the forecasts of the WRF-ARW (Weather Research and Forecasting - Advanced Research Weather) v 3.1.1 (WRF-ARW/SHN-SMN) during the spring of 2011.
Among MET's tools, we implemented Point-Stat, Stat-Analysis and MODE. We have also studied its mathematical aspects and capabilities. One of the main reasons for the application of the MET is its efficacy in handling upper air data for comparison purposes and precipitation verification object based.
PointStat provides verification statistics for forecasts at observation points, meanwhile Stat-Analysis uses Point-Stat's results to compute statistics in time periods like weeks, months and even years. They were used to compare the WRF-ARW forecasts with the upper air observations made at Córdoba, Resistencia, Mendoza, Ezeiza, and Santa Rosa stations for the spring of 2011. The evaluation was applied to temperature and winds at standard levels.
Scatter plots between observations and forecasts of temperature and winds at standard levels were made. In addition the frequency distributions of the forecasts errors were calculated, which were plotted in histograms and boxplots. Finally, a comparison between the means absolute errors from ETA and WRF-ARW models was made for the same period to show the differences between them.
In addition, the MODE, a verification tool based on objects, was implemented. It was applied to an intense precipitation event that took place on 24 October of 2011 over large part of the northeast of Argentina. This particular comparison using TRMM data was a first approach to understand MODE success and failures.
The MET package includes traditional statistical verification methods, as well as advanced methods using fuzzy logic tools. In this article we show some examples of its usage to evaluate the WRF-ARW SHN-SMN forecasts on experimental basis.

Keywords: Verification; Met; Point-Stat; Stat-Analysis; Mode.


 

INTRODUCCIÓN

Una de las metas a cumplir, estrechamente ligada al funcionamiento de todo centro de pronóstico operativo, es la verificación de los resultados del modelo con las observaciones. En este trabajo se evalúa el desempeño del MET v3.1 (Model Evaluation Tool) para la verificación de los pronósticos del modelo WRF-ARW (Weather Research and Forecasting - Advanced Research WRF) versión 3.1.1 (Skamarock y otros, 2008), procesado en forma experimental desde el 2010 en el Servicio Meteorológico Nacional (SMN) en el marco de un proyecto conjunto con el Servicio de Hidrografía Naval (SHN) (de aquí en mas WRF-ARW/SHN-SMN). El utilitario MET, desarrollado por el DTC - NCAR (Development Testbed Center - National Corporation for Atmospheric Research) (DTC, 2013), está especialmente diseñado para la verificación de los pronósticos del WRF aunque puede ser aplicado a otros modelos.
La calidad de los pronósticos del WRF-ARW/SHN-SMN ha sido verificada y demostrada en diferentes presentaciones. En Valdivieso y otros (2012) se realizó el análisis de las temperaturas extremas a 2 metros pronosticadas a 24, 48 y 72 horas, durante el año 2011, comparadas con las pronosticadas por el modelo ETA operativo en diferentes estaciones de la red del SMN aplicando la metodología implementada desde el 2003 (Suaya y Valdivieso, 2009) en el Departamento de Procesos Automatizados del SMN, para la verificación del ETA operativo. Se analizaron los porcentajes de acierto, se completó el análisis de los datos con el cálculo de los estadísticos Bias y RMSE y gráficos de dispersión. En la mayoría de las estaciones e independientemente del mes del año, se halló que el WRF-ARW/SHN-SMN tiene un mejor desempeño en el pronóstico de la temperatura mínima.
Una notable y eficiente aplicación de los pronósticos del WRF-ARW/SHN-SMN, fue la utilización de los mismos como condición inicial y de borde del modelo de dispersión de cenizas volcánicas FALL3D (Costa y otros, 2006; Folch y otros., 2008; Folch y otros, 2009), durante el período de la reciente erupción del complejo volcánico Cordón Caulle (Collini y otros, 2013), así como en los estudios retrospectivos de las erupciones del volcán Chaitén (Osores, 2012).
Cabe agregar dentro de los estudios realizados con el WRF-ARW/SHN-SMN, y que continúan en el presente, la investigación del impacto de la condición inicial en el pronóstico numérico del tiempo a corto plazo (Dillon y otros, 2011). Se analizó la sensibilidad de dicho modelo a distintas condiciones iniciales de humedad de suelo en el Sudeste de Sudamérica, y se comprobó que el impacto en variables como la humedad de suelo disponible y la precipitación presenta una componente regional.
El objetivo del desarrollo del MET es incorporar nuevas y avanzadas metodologías para verificar las variables obtenidas por los modelos numéricos del tiempo (Brown y otros, 2009). Este desarrollo fue ideado para cubrir las necesidades operacionales de todo centro de pronóstico. Está compuesto por una serie de herramientas, las principales son Point-Stat, Grid-Stat, Stat-Analysis, MODE, y Wavelet-Stat. En este trabajo nos enfocamos sólo en tres componentes: el Point-Stat, el Stat -Analysis y el MODE.
El Point-Stat hace posible la verificación de dos tipos de variables: continuas y del tipo categórica, también llamadas dicotómicas, que son aquellas que sólo tienen dos valores de verdad. La verificación de las variables continuas se realiza mediante el cálculo de errores, desviaciones estándar, medias, medianas, varianzas, percentiles, cuartiles e intervalos de confianza para todas las medidas anteriormente mencionadas, entre otros estadísticos conocidos. La verificación de las variables categóricas se basa en la construcción de tablas de contingencia, a partir de las cuales se calculan tasas e índices significativos que miden la bondad del pronóstico (Jolliffe y Stephenson, 2012).
Otra forma de analizar la información proporcionada por el Point-Stat, y que fue la usada en la elaboración de los resultados, es mediante el desarrollo de programas en lenguaje R (http://www.r-project.org/) los cuales son muy útiles para realizar distintos tipos de gráficos estadísticos. Cabe agregar que la herramienta encargada de resumir los resultados del Point-Stat es el Stat -Analysis, con el cual se realizan estimaciones de estadísticos vinculados a una serie temporal de datos, a diferencia del Point-Stat que sólo los calcula en base a una observación. Por lo tanto, el Stat-Analysis nos permite llegar a conclusiones más globales con respecto al funcionamiento del pronóstico durante distintos períodos de tiempo.
Barbara Brown y otros (2007) exponen que se han desarrollado herramientas específicas para verificar pronósticos espaciales de variables tales como la precipitación, la convección y la nubosidad. Dado que éstas exhiben una significativa variabilidad espacial, su estructura y localización resultan difíciles de pronosticar, por lo que se recurrió a una nueva metodología de verificación, basada en el tratamiento de objetos (donde en este caso los objetos son superficies que contienen cierta información meteorológica). Un ejemplo son las áreas de precipitación que son representadas y comparadas como objetos, además de ser caracterizadas por atributos tales como la localización, tamaño e intensidad, entre otros.El MODE es una herramienta que permite realizar una verificación utilizando la metodología explicada en el párrafo anterior, comparando el campo pronosticado contra el observado en el caso de que la densidad de datos lo permita. Otro método basado también en el estudio de objetos es el CRA, utilizado por Matsudo y otros (2012) en pronósticos de precipitación generados por el modelo BRAMS (Brazilian developments on the Regional Atmospheric Modelling System).
La principal diferencia entre las herramientas MODE y Point-Stat, radica en que mientras el Point-Stat verifica en forma puntual en un determinado tiempo fijo, el MODE verifica variables pronosticadas sobre áreas (conjunto de puntos) y que tienen sentido en ciertos períodos de tiempo, como lo son las precipitaciones acumuladas.
Nuestro objetivo es mostrar las aplicaciones de estas tres herramientas a partir de la verificación de los pronósticos del WRF-ARW/ SHN-SMN de Septiembre a Noviembre de 2011, y mediante un ejemplo de comparación con los resultados obtenidos con el modelo ETA. A continuación se presentan los datos y la metodología utilizados, y en la Sección 3 se muestran los resultados obtenidos a través de las tres herramientas mencionadas. Finalmente, en la Sección 4, se exponen las conclusiones del trabajo con posibles aplicaciones al pronóstico operacional.

DATOS Y METODOLOGÍA

Se utilizaron para este trabajo los pronósticos a 12, 36 y 60 horas provenientes del procesamiento experimental operativo del WRF-ARW/ SHN-SMN inicializado a las 00 UTC. El mismo posee una resolución espacial de 24 km en la horizontal y 38 niveles en la vertical, hasta 50 hPa. Como condición inicial y de borde se utilizan los pronósticos del modelo GFS (Global Forecasting System) de resolución horizontal 1ºx1º cada 3 horas. La configuración usada es no-hidrostática, y algunas de las parametrizaciones físicas son: esquema de microfísica del Eta, con procesos de diagnóstico de fase mixta; esquema de radiación de onda larga RRTM (Rapid Radiative Transfer Model); esquema de radiación de onda corta de Dudhia; esquema de Monin-Obukhov con la longitud de rugosidad de Zilitinkevich para la capa de superficie; esquema de Mellor-Yamada-Janjic para la capa límite planetaria; esquema de Betts-Miller-Janjic para la parametrización de cúmulos, esquema de suelo Noah.
También se utilizaron los pronósticos del modelo regional ETA que es procesado operativamente en el SMN a las 12 y a las 00 UTC, en un dominio que comprende el sur de Sudamérica considerando una topografía de 30''. Posee una resolución horizontal de 0.25º (aproximadamente 30km) y están definidos 38 niveles verticales en la coordenada eta, hasta los 25 hPa. Como condición inicial y de borde se utilizan los pronósticos del modelo GFS de resolución horizontal 1ºx1º cada 12 horas (Suaya, 2004). Las parametrizaciones más relevantes de la física del modelo son: esquema de Mellor-Yamada 2.5 para la capa límite; de Monin-Obukov para los flujos de superficie; modelo de suelo Noah; esquema de radiación de OC Lacis y Hansen (1974), y de OL de Fels y Schwarzkopf (1975); esquema convectivo de Betts-Miller-Janjic; y de microfísica de 6 especies.
Respecto a los utilitarios del MET, el Point-Stat fue utilizado para verificar pronósticos sobre observaciones puntuales. Sea P (lat, lon, msnm) la ubicación de la estación donde se realizó la observación, en la mayoría de los casos P no se corresponde con un punto del retículo del modelo, por lo cual se necesita interpolar el pronóstico a dicha ubicación. La interpolación se realiza a dos niveles, en la vertical y en la horizontal. Si las observaciones y los pronósticos están al mismo nivel no se necesita interpolación vertical. En caso contrario, los pronósticos son interpolados al nivel de la observación, usando logaritmo natural en las coordenadas de presión. En la horizontal, se pueden seleccionar varios métodos entre los cuales se encuentran: el vecino más cercano, el valor máximo o mínimo, la media de la distancia pesada y no pesada, mínimos cuadrados y la aproximación bilineal. Para utilizar alguno de ellos, lo primero que se necesita es definir un entorno alrededor de P, el cual será medido en número de puntos de retículo.
Al estudiar las bases y capacidades de cada método, y teniendo en cuenta las resoluciones de los modelos WRF-ARW/SHN-SMN y ETA implementados en el SMN (24 km y 30 km, respectivamente) y considerando que la temperatura y las componentes del viento se pueden representar por una variable continua, se decidió utilizar el método de mínimos cuadrados en un retículo constituido por 4 puntos (LS FIT4). Hay que señalar que la resolución espacial de ambos modelos se la considera matemáticamente consistente con una interpolación con puntos cuya distancia es a lo sumo 21.22 km de la ubicación de la observación, sobre todo teniendo en cuenta que las estaciones meteorológicas que lanzan radiosondeos en la Argentina son pocas y están separadas por grandes distancias.
Este método encuentra un plano interpolador $z = ax+by+c$, donde $(x,y,z)$ representan la latitud, la longitud y la variable a interpolar, respectivamente. Las constantes $a$, $b$ y $c\in\RR$ son tales que minimizan, donde $z_i$ es la observación y $\tilde{z}_i$ es la interpolada de la variable pronosticada utilizando el plano de mínimos cuadrados. Cabe señalar que las variables $(x;y)$ deben ser linealmente independientes. Luego, se utilizan todos los puntos de pronóstico para interpolar a dicho plano y éste es usado para asignarle a P un valor de pronóstico (Figura 1).


Figura 1
. A la izquierda se observa el plano que resulta de aplicar el método de interpolación de mínimos cuadrados (figura extraída del COMET Program) y a la derecha el retículo que utiliza este método.

Se utilizó el Point-Stat para verificar los pronósticos del WRF-ARW/SHN-SMN durante la primavera de 2011 con las observaciones de radiosondeo realizados a las 12 UTC en los aeropuertos de Córdoba (31º19'S 64º10'O, 474 msnm), Resistencia (27º27'S 59º00'O, 52 msnm), Mendoza (32º50'S 68º50'O, 704 msnm), Ezeiza (34º49'S 58º30'O, 20 msnm), y Santa Rosa (36º34'S 64º20'O, 191 msnm), cuya ubicación se muestra en el mapa de la Figura 2. Las variables verificadas fueron la temperatura y el viento en los niveles estándar. Se generaron gráficos de dispersión entre las observaciones y los pronósticos a 12, 36 y 60 horas. A los procesos del Point-Stat se agregó como desarrollo propio, el cálculo de las distribuciones de las frecuencias relativas del error del pronóstico y los diagramas de caja correspondientes al error absoluto en las tres horas de pronóstico (Charó y otros, 2012).


Figura 2
. Ubicación de las estaciones meteorológicas utilizadas y topografía del terreno en metros (somb).

El procesamiento del Point-Stat requiere (como mínimo) de tres archivos, que contienen los pronósticos, las observaciones y el archivo de configuración. En nuestro caso, para transformar el formato de las observaciones al requerido por el Point-Stat, se programó un código en C++ y luego se usó otra herramienta del MET, denominada ASCII2NC que permite transformar formatos ASCII a NetCDF. Con respecto al archivo de pronóstico, se puede trabajar en formato GRIB o NetCDF. En nuestro caso se realizó el postprocesamiento con el UPP, con lo que finalmente se obtuvo un archivo en formato GRIB.
Otra de las componentes utilizadas en este trabajo es el Stat Analysis que permite un mejor aprovechamiento de los resultados del Point-Stat. Se utilizó una de las funciones del Stat-Analysis que, dado un umbral para la temperatura observada y pronosticada, permite encontrar la probabilidad de que los pronósticos u observaciones se encuentren dentro del rango definido por el umbral, llamadas FR (forecast rate) y OR (observation rate), respectivamente. También calcula la probabilidad de que los pronósticos y observaciones estén dentro de ese intervalo simultáneamente, la cual se denomina HR (hit rate).
Se utilizaron, como referencia del rango de temperaturas de los niveles estándar, las estadísticas mensuales de las estaciones de radiosondeos de Ezeiza, Córdoba, Santa Rosa y Resistencia, realizadas para los períodos 1958-1971 (Velasco y Necco, 1980). Se calcularon las medias de las temperaturas máxima y mínima para los niveles estándar (100, 150, 200, 500 y 850 hPa) en las estaciones mencionadas durante los meses de primavera (Tabla I) para definir los rangos utilizados en el Stat Analysis. Cabe agregar, que no existen estadísticas actualizadas de observaciones de altura debido a que la realización de dichas observaciones se discontinuó por largos periodos de tiempo, aunque en los últimos años se ha comenzado con la recuperación de la red.

Tabla 1. Medias de las temperaturas máximas (Media T Máx) y mínimas (Media T Mín), expresadas en K, durante los meses de Septiembre, Octubre y Noviembre de los años 1958-1971, para los niveles de presión 100, 150, 200, 500 y 850 hPa.

El MODE se aplicó a un caso de precipitación intensa utilizando como datos observados las estimaciones provenientes del NOAA CPC MORPHing Technique (CMORPH) (Joyce y otros, 2004) y del Tropical Rainfall Measuring Mission (TRMM) (Kummerow y otros, 1998). El TRMM es una misión conjunta entre la NASA y la agencia de exploración aérea japonesa (JAXA) diseñada para monitorear y estudiar las precipitaciones tropicales y subtropicales (50ºN,-50ºS). El CMORPH es una técnica que genera un análisis casi global de la precipitación con gran resolución espacial y temporal, su dominio abarca la región comprendida entre 60ºN y -60ºS. En este trabajo sólo mostramos los resultados que obtuvimos utilizando los datos provenientes del dataset TRMM 3B42 (V7), en un dominio comprendido entre la latitud -50º S y el Ecuador y las longitudes -85º O y -35º O.
El MODE trabaja con los campos de pronóstico y observación, definiendo los objetos en cada campo como áreas del plano delimitadas por la envolvente convexa del conjunto de nodos que comprende ese área. En la manera en la que estos objetos se definen, interviene una herramienta muy usada en el terreno de las matemáticas, denominada convolución (Evans, 1998). Se define la convolución discreta de $\varphi$ con $f$ en (1), donde $\varphi$ es la función definida en (3), $f$ es el campo de observación o pronóstico y $G$ la retícula a la cual pertenecen los puntos (Figura 3 a). Luego de efectuar la convolución, se aplica al campo convolucionado (Figura 3 b) un umbral $T$ que en el caso de precipitaciones se podría definir como el valor mínimo a partir del cual nos interesa comparar la precipitación. Luego, se enmascara la región de interés con la función dada en (3) (Figura 3 c) y los objetos se definen como las regiones conectadas tal que $M=1$ (Figura 3d).


Figura 3
. Las diferentes etapas obtenidas durante la creación de los objetos (Brown y otros, 2007).

donde $R$ es el radio de influencia y $H$ es la altura. Una vez elegido $R$, $H$ cumple que $\pi R^2H=1$.

El objetivo de esta técnica es reducir áreas de observación y pronóstico a regiones de interés, con la ventaja de que ante la presencia de regiones discontinuas o con picos, las suaviza, elimina el ruido y particularmente se independiza de la subjetividad humana en la elección de una región.
Para realizar la verificación se definen los atributos de los objetos, ya sea individuales o de a pares. Los atributos individuales son: área, centroide, ángulo eje, envolvente convexa, complejidad, y relación de aspecto, mientras que los atributos para pares de objetos son, entre otros: la diferencia de centroides, la diferencia entre los ángulos ejes, el área total, el área de la intersección, el área de la diferencia simétrica, y la relación de áreas. El MODE utiliza estos atributos para emplear la lógica difusa (Bede, 2012) en la verificación del campo pronosticado, técnica que consiste en dos procesos: el que asocia objetos dentro del mismo campo y el que asocia objetos que provienen de distintos campos. El primero permite combinar objetos que naturalmente estarían juntos, es decir, aquellos que parecen provenir del mismo sistema, mientras el segundo permite asociar objetos pronosticados con los objetos observados. Estos procesos son realizados por una máquina de lógica difusa, que requiere que los pronósticos y las observaciones tengan las mismas características espaciales, temporales, y de escala, entre otras.
La verificación utiliza los atributos de los objetos $\alpha_i$, a los cuales se les atribuye un mapa de interés $I_i(\alpha_i)$, un mapa de confianzan $C_i(\alpha)$ y un peso escalar $w_i$. La función $I_i(\alpha_i)$ refleja la importancia de cada valor del atributo para ser usado en la verificación. Sea $\alpha=(\alpha_1,\alpha_2,...,\alpha_N)$ el vector que contiene los $N$ atributos del objeto, un mapa de confianza $C_i(\alpha)$ refleja cuánta confianza se le tiene al cálculo del atributo $\alpha_i$, el cual a su vez podría depender de los otros atributos, mientras que los pesos escalares $w_i$ reflejan la importancia relativa de cada atributo frente a los otros (Bullock, 2011).
Luego, se define el interés total $\Gamma(\alpha)$ (4) para cada objeto o pares de objetos, que es la herramienta fundamental utilizada a la hora de decidir cuáles objetos se asocian

Se define un umbral $U\in\RR$, y se calcula $\Gamma(\alpha)$ para pares de objetos o para un solo objeto. Si $\Gamma(\alpha)>U$ entonces se asocian pares de objetos de diferentes campos, o se agrupan objetos si están en el mismo campo. Finalmente, pares de objetos (o varios) son agrupados si ambos (o todos) son asociados a los mismos objetos del otro campo, formándose así los clústeres de objetos.
Como ya se mencionó en la Sección 1, los métodos descriptos aquí son sólo algunos ejemplos de aquellos disponibles en el utilitario MET. Se recomienda la lectura de la documentación disponible en http://www.dtcenter.org/met/users/docs/users_guide/MET_Users_Guide_v2.0_rev2.pdf, para hallar el método más adecuado a cada caso. A continuación se muestran los resultados obtenidos con algunas de las aplicaciones.

RESULTADOS

PointStat
Se aplicó esta herramienta del MET a todas las estaciones mencionadas en la Sección 2, aunque se muestran los resultados de las distintas componentes a estaciones seleccionadas. En la Figura 4 se observan los diagramas de dispersión correspondientes a las temperaturas observadas versus las pronosticadas durante la primavera de 2011, en la estación Resistencia con los pronósticos producidos por el WRF-ARW/SHN-SMN a 60 horas, mientras que las observaciones corresponden a los radiosondeos en los niveles estándar. Se observa que la dispersión en los niveles hasta 700 hPa y en los niveles superiores a 200 hPa es mayor que entre 500 y 250 hPa. Comparando con los pronósticos a 12 y 36 horas (no se muestra) se observa que la dispersión en los niveles por debajo de 700 hPa aumenta con las horas de pronóstico, se mantiene en un rango similar entre 500 y 250 hPa, y vuelve a aumentar en los niveles superiores a 200 hPa.


Figura 4
. Gráficos de dispersión correspondientes a la temperatura pronosticada versus la observada en los niveles estándar a las 60 horas de pronóstico en la estación Resistencia. En estos gráficos k (promedio de los errores absolutos) representa una medida de la dispersión respecto de la recta identidad (marcada con una línea punteada).

Se realizó un desarrollo propio en lenguaje R, para calcular las distribuciones de los errores del pronóstico de la intensidad del viento en los niveles estándar para las distintas horas de pronóstico para todas las estaciones. En particular mostramos los resultados para la estación Mendoza en la Figura 5.


Figura 5
. Gráficos correspondientes a la distribución del error del pronóstico de la velocidad del viento en los niveles estándar a las 12 (verde), 36 (rojo) y 60 (magenta) horas de pronóstico en la estación Mendoza. La línea llena indica la distribución empírica.

La estadística descriptiva nos ayuda a verificar la normalidad de las variables. El histograma de la Figura 5 nos permite ver la distribución de los datos, donde se puede apreciar la forma de campana característica de una distribución normal. Una prueba de normalidad más formal, no paramétrica es la prueba de Kolmorogov-Smirnov (Lehmann y Romano, 2005), que es un test utilizado en muestras de tamaño mayor a 50, en el cual se comprueba si el conjunto de datos sigue una distribución normal (hipótesis nula). Este test se basa en evaluar el estadístico $D$ (5), donde $F_n$ (6) es la distribución muestral, $n$ es la cantidad de observaciones, $I$ es la función indicadora y $F$ es la función de distribución teórica, en este caso la función de distribución normal.

Si el p-valor es menor que $\alpha$ (nivel de significación del test) la $H_0$ es rechazada. En este caso consideramos $\alpha = 0.05$. Se calcularon los valores del estadístico $D$ y el p-valor, para cada nivel de la estación Mendoza, a las 12, 36 y 60 horas de pronóstico. Sólo observamos dos situaciones en las que la $H_0$ es rechazada para el pronóstico a 60 horas (no mostrado). Cabe destacar que en los test estadísticos una $H_0$ no se acepta: cuando la evidencia empírica no es suficiente para rechazarla se mantiene cierta. Por lo tanto podemos decir que no hay prueba suficiente para rechazar la normalidad de la distribución de los errores del pronóstico de la intensidad del viento.
Se observa en la Figura 5 que desde 925 hasta 700 hPa, los errores en el rango [-5, 5] m/s presentan las mayores frecuencias relativas. En general, en el nivel de 500 hPa el WRF-ARW/SHN-SMN subestima la intensidad del viento, tal como lo muestra el sesgo a izquierda de la distribución. A partir de los 400 hPa, aumenta la varianza, en concordancia con el aumento de la frecuencia relativa de los errores de módulo mayor que 5 m/s.
En la Figura 6 se observan los diagramas de caja correspondientes al valor absoluto del error (MAE) de la variable intensidad de viento en los niveles estándar para las distintas horas de pronóstico (12, 36 y 60) en la Estación Santa Rosa. El segmento horizontal que divide a cada caja indica la ubicación de la mediana de los datos, la parte inferior el primer cuartil Q1 y la superior el tercer cuartil $Q_3$.


Figura 6
. Diagramas de caja correspondientes al Error Absoluto Medio (MAE) de la variable intensidad del viento en los niveles estándar, durante la primavera de 2011 para las distintas horas de pronóstico (12 (verde), 36 (rojo) y 60 (magenta)) en la estación Santa Rosa.

Se observa que en las distintas horas de pronóstico la concentración mayor de datos (75\%), tiene errores absolutos menores que 5 m/s. Esto nos indica que en general nuestro error al pronosticar oscila en un rango +/- 5 m/s. También podemos ver que en los niveles 925, 700 y 850 hPa los pronósticos a 60 horas son mejores que a las 36 horas. Asimismo, a partir de 500 hPa hasta 200 hPa el error va creciendo a medida que aumentan las horas de pronóstico. La ventaja de los diagramas de caja es que éstos ofrecen la posibilidad de comparar las distribuciones de las tres horas de pronóstico en un mismo gráfico. Notemos además que la información contenida en un diagrama de caja es similar a la provista por un histograma.
Se demostró la flexibilidad del MET para ser aplicado a distintos modelos de pronóstico, ya que se procesaron además los resultados del modelo ETA operativo en el SMN para la primavera de 2011. Mostramos en la Figura 7 la comparación entre el promedio del MAE de dicho modelo con los del WRF-ARW/SHN-SMN, de los pronósticos de temperatura a 12, 36 y 60 horas, en la estación Ezeiza. Se observa que si bien los perfiles del promedio del MAE de ambos modelos poco difieren a las 12 horas, se va acentuando la diferencia entre ellos a medida que aumenta el tiempo de pronóstico. La mayor diferencia entre los promedios del error absoluto se halla por debajo de los 850 hPa y por encima de los 400 hPa, donde el WRF-ARW/SHN-SMN se comporta mejor que el ETA.


Figura 7
. Comparación entre el promedio del MAE del modelo ETA (línea roja) con los del WRF-ARW/SHN-SMN (línea verde), de los pronósticos de temperatura a 12, 36 y 60 horas, en la estación Ezeiza.

Cabe señalar que las diferencias provienen en parte de la configuración de los modelos, ya que utilizan distintas parametrizaciones de los procesos físicos además de presentar núcleos dinámicos diversos. Asimismo, los intervalos de actualización de las condiciones de borde en cada sistema de procesamiento son diferentes, aunque se trata de los mismos campos globales de GFS, como se especificó en la sección 2.

STAT-ANALYSIS
Se aplicó el Stat-Analysis para sintetizar los resultados obtenidos por el Point-Stat y se estudiaron, entre otras medidas de probabilidad, los índices FR, HR y OR de la variable temperatura en los niveles 100, 150, 200, 500 y 850 hPa (Tabla II), observando que las temperaturas tanto pronosticadas como observadas (HR) en la primavera de 2011 se encuentran con mayor probabilidad (casi 1), en los límites establecidos por las estadísticas elaboradas en el período 1951-1978 (Velasco y Necco, 1980). También se puede observar que los pronósticos siempre se encuentran (probabilidad=1) dentro de esos límites. En el caso de las observaciones a veces son inferiores a los límites establecidos para la mínima, pero esta probabilidad (0.01 o 0.02) es despreciable.

Tabla 2. Resultados del Stat-Analysis usando la variable temperatura en los niveles 100, 150 y 200 hPa. FR= forecast rate, HR= hit rate, OR= observation rate.

MODE
El MODE identifica a la precipitación como un objeto capaz no sólo de estar asociado a otro en diferentes campos (observado/pronosticado), sino también capaz de interactuar con otro objeto dentro del mismo campo. Tal es el caso de áreas de precipitación asociadas al mismo sistema de tormenta. Además, el MODE garantiza la verificación espacial no sólo cuantitativa sino también cualitativa.
Se realizó la verificación de la precipitación pronosticada acumulada en 24 horas para el día 24 de Octubre de 2011 ( 00UTC del 24 a 00UTC del 25). En este día se observó la presencia de un sistema que aportó abundante precipitación sobre el noreste de la Argentina, en particular en la provincia de Corrientes, el sur de Brasil y el norte de Uruguay. El mismo se desarrolló a partir de la convergencia de humedad existente en niveles bajos en dicha región, alimentada por advección cálida y húmeda desde el norte. Como mecanismo de ascenso se identificó un débil gradiente de temperatura potencial equivalente en 850 hPa, que se desplazaba en dirección noreste (no mostrado). Se definió como campo observado la precipitación acumulada a 24 horas proveniente de las estimaciones de precipitación acumulada cada 3 horas del TRMM. Para ello se utilizó un programa en lenguaje R incluido en el MET, el cual también fue adaptado para el CMORPH, aunque el resultado con esta estimación no se muestra en el presente artículo.
El MODE crea un archivo PostScript que resume las características basadas en la definición de los objetos utilizados como aproximación en la verificación. Como primer resultado, se obtiene la información resumida acerca de los objetos y sus propiedades: las imágenes de los campos observado y pronosticado, y de los objetos asociados y/o agrupados y los índices.
En la Figura 8 se observa cómo se asociaron los objetos de diferentes campos y cómo se agruparon en un mismo campo, utilizando los atributos definidos en a) de la Tabla III. Los contornos negros indican los objetos agrupados en un mismo campo; mientras que los colores sombreados corresponden a los objetos que pertenecen a distintos campos pero están asociados entre sí, es decir aquellos objetos definidos en el campo de pronóstico que están relacionados con objetos definidos en el campo de observación. En particular, los coloreados en azul son objetos que no encontraron su correspondencia con objetos del otro campo. Por lo tanto, en el caso del campo pronosticado el color azul representa las falsas alarmas.


Figura 8
. a) Campo pronosticado, b) Campo observado, c) Objetos definidos por el MODE en el campo pronosticado y d) Ídem c) para el campo observado. Los objetos que presentan el mismo color son los asociados entre los campos a) y b), con excepción del color azul (ver el texto). Los contornos en negro definen los objetos agrupados dentro del mismo campo.

Se puede observar que el modelo representó los sistemas más importantes observados, aunque subestimó su intensidad en todos los casos. Respecto al objeto color turquesa del campo de pronóstico, se puede inferir que debería haberse agrupado con el objeto color magenta, ya que se trata de un mismo sistema frontal.
En la Sección 2 se explicaron los conceptos básicos sobre objetos, atributos e intereses que constituyen las componentes del MODE. Los intereses son funciones lineales a trozos definidas por sus puntos significativos, que dependen en algunos casos de la resolución espacial de la malla del modelo de pronóstico, como por ejemplo la distancia entre centroides o la distancia entre los bordes de los objetos; o son independientes y definidos por el usuario, como por ejemplo la diferencia entre ángulos o la proporción entre las áreas.
De esta manera, el cálculo del interés total varía según los pesos asignados a los intereses de los atributos, por lo cual los resultados son dependientes de las prioridades del usuario del MET. Por ejemplo, si se le da más importancia al tamaño del área geográfica en común, las regiones que abarca o la intensidad de la precipitación, se le otorgarán pesos más altos a los intereses relacionados a estos atributos, y por lo tanto el interés total resultante será diferente según sea el caso, y en consecuencia los objetos agrupados y asociados también van a diferir. En particular la técnica llamada "doble umbral" se basa en aplicar una nueva convolución con un umbral de menor valor al utilizado en la etapa de definición de objetos, y hace posible refinar el agrupamiento de objetos para lograr una mejor asociación entre el objeto pronosticado y observado.
Con el fin de evaluar la sensibilidad de los resultados a la selección de algunos atributos, se realizaron distintos experimentos variando la configuración del MODE (Tabla III), para el mismo caso de estudio. En los cuatro experimentos se mantuvo constante el umbral utilizado para la convolución (5 mm), el percentil de la intensidad definido como la media de las intensidades dentro de cada objeto y todos los demás pesos e intereses, exceptuando el peso de la razón entre las áreas de los objetos, el peso de la diferencia entre los ángulos y el doble umbral.

Tabla 3. Características de las configuraciones utilizadas cuyos resultados se muestran en la Figura 7.

En la Figura 9 se observa que se van conformando distintos conjuntos de objetos en ambos campos, y por lo tanto distintas asociaciones entre los mismos, a medida que va cambiando el valor de los pesos de algunos de los atributos (Tabla III). En particular, utilizando el doble umbral (Figura 9 d)), se logró agrupar los objetos que estaban separados en la Figura 9 a) (magenta y turquesa) que correspondían al mismo sistema frontal.


Figura 9
. Asociaciones entre los objetos para los experimentos a), b), c) y d) de la Tabla III. En cada caso los paneles superiores se interpretan como la Figura 7. Los números de los paneles inferiores representan los objetos asociados entre el campo pronóstico y el observado.

CONCLUSIONES Y TRABAJOS FUTUROS

La aplicación del MET permitió establecer límites de confiabilidad, en este caso a los pronósticos del WRF-ARW/SHN-SMN. El Point-Stat resultó una herramienta eficiente de verificación de los resultados del modelo con las observaciones de radiosondeo. Se estudiaron los métodos de interpolación de puntos de retículo a la ubicación de la observación y se eligió el de Mínimos Cuadrados con 4 puntos (LS\_FIT4), ya que el WRF-ARW/SHN-SMN tiene una resolución de 24 km, por lo que es razonable interpolar con puntos cuya distancia es a lo sumo de 21,22 km de la observación. Este método, al usar un plano de temperatura, nos garantiza que los pronósticos obtenidos en los puntos de observación respetan la continuidad de la variable.
El Stat Analysis sintetiza la información que nos brinda el Point Stat, facilitando así la interpretación de los resultados por parte del usuario. En este trabajo, se aplicaron algunas de las funciones del mismo, en particular las que calculan FR, HR y OR de la variable temperatura en los niveles estándar entre los pronósticos y las observaciones.
La verificación de los campos pronosticados resultantes del WRF-ARW/SHN-SMN para el trimestre de primavera de 2011 de las variables temperatura y viento en los niveles estándar muestran que la calidad del pronóstico varía según: la hora de pronóstico, las características geográficas de la estación meteorológica, la variable y el nivel de la atmósfera.
Los gráficos de dispersión de la temperatura correspondientes a la estación Resistencia, muestran que ésta aumenta con la hora de pronóstico, y es menor en los niveles medios de la atmósfera. Se puede concluir que las temperaturas pronosticadas se encuentran en mayor proporción dentro del rango definido por las estadísticas realizadas a partir de las observaciones (Velasco y Necco, 1980).
En cuanto a los vientos pronosticados se observa que en las distintas horas de pronóstico, alrededor del 75\% tienen errores absolutos menores que 5 m/s en estaciones de superficie, como Santa Rosa. En el caso de Mendoza, una estación de altura, los valores absolutos de los errores aumentan con los niveles. En cuanto al plazo de pronóstico, se puede afirmar que los pronósticos a 60 horas son mejores que a las 36 horas en los niveles 925, 700 y 850 hPa, mientras que desde los 500 hPa hasta 200 hPa el error va creciendo a medida que aumentan las horas de pronóstico.
Es importante señalar que esta es una verificación preliminar, ya que se trata sólo de un análisis de 3 meses. Se necesitaría del estudio de un periodo más extenso para llegar a conclusiones más generales sobre el comportamiento del modelo. También hay que considerar como otra dificultad la escasez y las grandes distancias que separan las actuales estaciones de radiosondeo, las cuales están situadas en regiones geográficas y climáticas diferentes.
El MODE se empleó en un caso de precipitación intensa para comparar el pronóstico numérico del WRF-ARW/SHN-SMN con la estimación del TRMM, y se observó que aplicando distintas configuraciones se lograron identificar diferentes sistemas con características comunes entre un campo y el otro. El MODE es una herramienta novedosa que plantea el desafío de caracterizar a la precipitación por sus atributos e intereses asociados a los mismos. De esta forma es posible analizar desde otros puntos de vista la bondad de nuestro modelo, al comparar no sólo la intensidad de la precipitación pronosticada, sino también el área cubierta, la forma y el ángulo de inclinación del área, entre otros. Podemos afirmar, entonces, que esta herramienta demostró su versatilidad para la verificación de la precipitación.
Sin embargo, desde el punto de vista práctico, el uso de las componentes del MET no es inmediato, ya que se necesita de desarrollos que las complementen, como por ejemplo programas que transformen las observaciones en el formato requerido por cada herramienta. Otro requerimiento es el conocimiento del lenguaje R para la interpretación de los resultados y para la manipulación de los scripts preexistentes incluidos en el paquete original del MET. Por otro lado, nos encontramos con dificultades en la compresión de algunas de las capacidades del MODE ya que la documentación existente es insuficiente y tampoco hay experiencia sobre el tema dentro de la comunidad. Por esta razón, se debería considerar un entrenamiento intensivo con los desarrolladores del software antes de aplicarlo operativamente.
Consideramos necesario el procesamiento de una serie más larga de pronósticos y observaciones para lograr mayor experiencia en el uso y la interpretación de la aplicación del MET. Dentro de los planes futuros se continuará con la verificación estacional de pronósticos del WRF-ARW/SHN-SMN con las observaciones de radiosondeo y con el uso del Stat-Analysis, herramienta muy eficaz para hacer estadísticas en períodos de tiempo extensos utilizando los resultados obtenidos por el Point-Stat. Asimismo se planea realizar la verificación de la precipitación con las observaciones de superficie registradas por las estaciones meteorológicas de la red del SMN.

Agradecimientos

PIDDEF 41/10, SHN-SMN, Ministerio de Defensa, "Aplicaciones de modelos numéricos de última generación, en el ámbito del Servicio Meteorológico Nacional para el pronóstico del tiempo. Estudios de vulnerabilidad del medio ambiente e impacto socioeconómico". Los pronósticos del modelo ETA, las observaciones SYNOP y radiosondeos fueron proporcionados por el Departamento de Procesos Automatizados (DPA), SMN. Asimismo se agradece el soporte técnico brindado por el met_help@ucar.edu.

Referencias

1. Bede B., 2012. Mathematics of Fuzzy Sets and Fuzzy Logic. Springer. 280 págs.         [ Links ]

2. Brown, B. G., Bullock, R., Gotway, J. H., Ahijevych, D., Davis, C., Gilleland, E., Holland, L., 2007. Application of the MODE object-based verification tool for the evaluation of model precipitation fields. Preprints 22nd Conf. on Weather Analysis and Forecasting and 18th Conf. on Numerical Weather Prediction, Park City, Utah, Amer. Meteor. Soc. A (Vol. 10).         [ Links ]

3. Brown, B. G., Gotway, J. H., Bullock, R., Gilleland, E., Fowler, T., Ahijevych, D., & Jensen, T., 2009. The Model Evaluation Tools (MET): Community tools for forecast evaluation. Preprints, 25th Conf. on International Interactive Information and Processing Systems (IIPS) for Meteorology, Oceanography, and Hydrology, Phoenix, AZ, Amer. Meteor. Soc. A (Vol. 9).         [ Links ]

4. Bullock, R., 2011. Introduction to spatial verification. MET tutorial presentation. June 27-29. UCAR, USA.         [ Links ]

5. Charó G., Collini E., Dillon M. E., 2012.Verificación de los pronósticos del modelo WRF-ARW/ SHN-SMN utilizando el MET para la primavera de 2011. XXI Reunión Científica de la Asociación Argentina de Geofísicos y Geodestas 2012. 7 al 9 de noviembre de 2012. Tucumán. Argentina.         [ Links ]

6. Collini E., Osores M.S., Folch A., Viramonte J. G., Villarosa G., Salmuni G., 2013. Volcanic ash forecast during the June 2011 Cordón Caulle eruption, Natural Hazards, online publication, DOI:10.1007/s11069-012-0492-y, págs. 389-412.         [ Links ]

7. Costa A., Macedonio G., Folch A., 2006. A three-dimensional Eulerian model for transport and deposition of volcanic ashes. Earth Planet Sci Lett 241:634-647.         [ Links ]

8. Developmental Tested Center, 2013.MET users guide v3.1, [ 12/09/2013] disponible en http://www.dtcenter.org/met/users/docs/users_guide/MET_Users_Guide_v3.1.pdf        [ Links ]

9. Dillon M. E., Ferreira L., Collini E., Pujol G., 2011. Estudio de la sensibilidad del modelo WRF-ARW versión SMN/SHN usando campos de humedad del suelo del GLDAS. Reunión de la International Geographical Union (IUG) 2011, Santiago, Chile, noviembre de 2011.         [ Links ]

10. Evans, L., 1998.Partial Differential Equations. AMS Press. 662 págs.         [ Links ]

11. Fels, S. y Schwarzkopf, M.D., 1975. The simplified exchange approximation: A new method for radiative transfer calculations. Journal of the Atmospheric Sciences, 32, 1475-1488        [ Links ]

12. Folch A., Jorba O., Viramonte J.G., 2008. Volcanic ash forecast—application to the May 2008 Chaitén eruption. Natl Hazards Earth Syst Sci 8:927-940.

13. Folch A., Costa A., Macedonio G.,2009. FALL3D: a computational model for volcanic ash transport and deposition. Comput Geosci 35(6):1334-1342        [ Links ]

14. Jolliffe I. T., Stephenson D. B., 2012. Forecast verification: A practitioner's guide in atmospheric sciencie, Wiley & sons. 240 págs.         [ Links ]

15. Joyce R.J., Janowiak J.E., Arkin P.A., Xie P., 2004. CMORPH: A method that produces global precipitation estimates from passive microwave and infrared data at high spatial and temporal resolution. J. Of Hydromet., Vol 5, págs. 487-503.         [ Links ]

16. Kummerow, C., Barnes, W., Kozu, T., Shiue, J., & Simpson, J., 1998. The tropical rainfall measuring mission (TRMM) sensor package. Journal of Atmospheric and Oceanic Technology, 15(3), págs. 809-817.         [ Links ]

17. Lacis, A., y Hansen, J., 1974. A parameterization for the absorption of solar radiation in the earth's atmosphere. Journal of the Atmospheric Sciences, Vol. 31, No. 1, 118-133.         [ Links ]

18. Lehmann E.L., Romano J.P., 2005.Testing Statistical Hypotheses. Springer Texts in Statistics.767 págs.         [ Links ]

19. Matsudo C., García Skabar Y., Ferreira L., Salio P., 2012. Aplicación de una técnica especial de verificación en pronósticos de precipitación en alta resolución. CONGREMET XI, Mayo 2012, Mendoza, Argentina. Proceedings, 13 págs., http://www.congremet.prmarg.org/upload/matsudocynthia.pdf.         [ Links ]

20. Osores M.S., 2012. Análisis y validación del modelo de dispersión y deposición de ceniza volcánica FALL3D mediante el uso de imágenes satelitales y datos de campo - Casos de estudio: Chaitén, Hudson y Cordón Caulle". Tesis de Licenciatura. Departamento de Ciencias de la Atmósfera y los Océanos. FCEyN. Universidad de Buenos Aires. 151 págs.         [ Links ]

21. Skamarock, W. C., Klemp J. B., Dudhia J., Gill D. O., Barker D. M., Duda M. G., Huang X., Wang W., Powers, J.G., 2008. A description of the Advanced Research WRF Version 3. NCAR/TN-468+ STR, NCAR TECHNICAL NOTE, 88. 125 págs.         [ Links ]

22. Suaya, M., 2004. Primera evaluación objetiva de los pronósticos operativos de los modelos ETA-SMN y GFS-NCEP durante el año 2003. Tesis de Licenciatura en Ciencias de la Atmósfera, Facultad de Ciencias Exactas y Naturales, UBA        [ Links ]

23. Suaya M., Valdivieso R., 2009. Modelo ETA SMN 2003-2008: usos, experiencias y resultados. CONGREMET X/CLIMET XIII, 5-9/10/2009, Buenos Aires, Argentina. Versión en CD. 13pp. Presentación tipo poster        [ Links ]

24. Valdivieso R., Dillon M. E., Collini E. A., Suaya M. 2012. Verificación del pronóstico de temperaturas extremas de los modelos WRF/SHN-SMN y ETA/SMN, durante el año 2011. CONGREMET XI. "La meteorología y su contribución al desarrollo humano, social y económico de las regiones". Mendoza, Argentina; 28 de Mayo al 1 de Junio de 2012. Modo Poster. Resumen publicado en http://www.congremet.prmarg.org/paginas/index/trabajos.         [ Links ]

25. Velasco I., Necco G.V., 1980. Valores medio, extremos y desviaciones estándar de datos aerológicos de la República Argentina. Universidad de Buenos Aires, Facultad de Ciencias Exactas y Naturales, Departamento de Ciencias de la Atmósfera y los Océanos. 275 págs.         [ Links ]

Creative Commons License Todo el contenido de esta revista, excepto dónde está identificado, está bajo una Licencia Creative Commons