INMET training course v4

Slide1: 

Caio A. S. Coelho Centro de Previsão de Tempo e Estudos Climáticos (CPTEC)‏ Instituto Nacional de Pesquisas Espaciais (INPE)‏ caio@cptec.inpe.br Estrutura da apresentação 1. Conceitos e métodos: Niño-3.4 2. Previsões de precipitação para a América do Sul Calibração e combinação de previsões INMET-IRI “Climate information course”, Brasília, 19 – 23 Novembro 2007

Questões motivadoras: 

Questões motivadoras Porque é necessário? Qual a melhor maneira de se calibrar? Como obter estimativas de probabilidade? Quem deve fazer? Calibração Combinação Porque é necessário? Atribuir pesos ou fazer seleção de previsões? Qual a melhor maneira de se combinar? Quem deve fazer?

Esquema conceitual para calibração e combinação de previsões: 

Esquema conceitual para calibração e combinação de previsões Assimilação de dados “Assimilação de previsões” Espaço observacional Espaço do modelo

Motivação para a combinação: Previsão por conjunto de modelos: 

Verificação Motivação para a combinação: Previsão por conjunto de modelos Modelo 1 t=0 t=T Espaço de fase do sistema climático

Motivação para a combinação: Previsão por conjunto de modelos: 

Verificação Modelo 1 Modelo 2 t=0 t=T Espaço de fase do sistema climático Motivação para a combinação: Previsão por conjunto de modelos

Previsão por conjunto de modelos: 

Previsão por conjunto de modelos Solução: Vários-modelos Conjunto Incertezas: Formulação Condições iniciais

Slide7: 

Pierre-Simon Laplace (1749-1827)‏ O Pioneiro da combinação a p • • • • • • • • • • • • • • • • • • • Laplace (1818): Combinação de dois estimadores inclin. resíduo

Slide8: 

+ métodos = numéricos Previsões combinadas apresentam melhor desempenho do que previsões individuais? Em tempos modernos… Previsões • • •

Slide9: 

Literatura de combinação de previsões Trenkler and Gotu (2000): ~600 publicações (1970-2000)‏ Extensivamente aplicada em Economia e Meteorologia Métodos similares são aplicados nas duas áreas Previsões combinadas são melhores do que previsões individuais

Slide10: 

Algumas questões Qual a melhor maneira de se combinar? Vale a pena incluir todas as previsões disponíveis?

DEMETER: previsão por conjunto de modelos acoplados: 

DEMETER: previsão por conjunto de modelos acoplados Índice Nino-3.4 (Y)‏ Período: 1987-99 Conjunto: 9 membros Jul -> Dez Defasagem: 5 meses DEMETER web page: http://www.ecmwf.int/research/demeter ECMWF Meteo-France (MF)‏ Max Planck Institut (MPI)‏

Slide12: 

Previsões do índice Nino-3.4 para Dezembro: sem calibração

Calibração e combinação de previsões: 

Calibração e combinação de previsões Combinação linear de M previsões X constantes modelos média do conjunto previsão combinada

Métodos de calibração e combinação: 

Remoção do viés da média do conjunto de modelos (Uem)‏ Regressão da média do conjunto de modelos (Rem)‏ Regressão do conjunto de modelos (Rall) Métodos de calibração e combinação Kharin and Zwiers (2002), J. Climate. Como estimar wo e wi ?

Remoção do víes da média do conjunto de modelos (Uem)‏: 

Remoção do víes da média do conjunto de modelos (Uem)‏ • • • • • • • • • • • • • • • • • • • • • Previsões Modelo 1 (X )‏ Modelo 2 (X )‏ Modelo 3 (X )‏ Média do conjunto de modelos (X’)‏ … t=T t=1 t=2 … observações (Y)‏ (anos)‏ (C)‏ 1 2 3 viés médio

Regressão da média do conjunto de modelos (Rem)‏: 

Regressão da média do conjunto de modelos (Rem)‏ • • • • • • • • • • • • • • • • • • • • • Previsões Modelo 1 (X )‏ Modelo 2 (X )‏ Modelo 3 (X )‏ Média do conjunto de modelos (X’)‏ Y (C)‏ observações 1 2 3 viés médio

Regressão do conjunto de modelos (Rall)‏: 

Regressão do conjunto de modelos (Rall)‏ • • • Previsões Modelo 1 (X )‏ Modelo 2 (X )‏ Modelo 3 (X )‏ Regressão linear múltipla em notação matricial : Y: 1 x n (observações)‏ X: M x n (previsões)‏ 1 2 3

Slide18: 

Previsões combinadas

Slide19: 

Y: Índice Nino-3.4 observado em Dezembro X: Previsão de Y (média do conjunto) para Dez. Thomas Bayes (1701-1761)‏ Revisão da crença prévia em um evento Y consiste na atualização da prob. de Y quando nova info. X torna-se disponível. Exemplo: média do conjunto (X=x=27C)‏ Prob. condicional:p(X=x|Y)‏ Prévia:p(Y)‏ Posterior:p(Y|X=x)‏ Método Bayesiano: atualização de informação

Assimilação Bayesiana de Previsões (B)‏: 

Prévia: Prob. cond.: Posterior: calibração Assimilação Bayesiana de Previsões (B)‏ viés Coelho (2005)‏ Stephenson et al. (2005)‏

Observações do índice Nino-3.4: 

TSM de Julho e Dezembro: Reynolds OI V2 (1950-2001)‏ Observações do índice Nino-3.4 Índice Nino-3.4 valores médios: Jul: 27.1C Dez: 26.5C r: 0.87 R2 =0.76 Coelho et al. (2004)‏

Slide22: 

Previsões calibradas e combinadas Uem Rall Rem B

Slide23: 

Previsões em notação Bayesiana Prévia de B Prévia de Rem e Rall Combinação Bayesiana Prévia: Pr. cond.: Regressão de Y em X

Slide24: 

Medidas de destreza e incerteza Skill Score = [1- MSE/MSE(climatologia)]*100%

Slide25: 

Conclusões da primeira parte Previsões podem ser calibradas e combinadas de várias maneiras Previsões combinadas apresentam melhor desempenho do que previsões individuais Rall e B apresentaram melhor desempenho para o exemplo do índice Nino-3.4 Inclusão de previsões de um modelo com viés alto não prejudicou a previsão combinada final

Previsões climáticas sazonais:: 

Previsões climáticas sazonais: • Como são produzidas: Modelos empíricos/estatísticos Modelos dinâmicos atmosféricos Modelos dinâmicos acoplados (oceano+atmosfera)‏ Previsões das condições climáticas para os próximos (3-6) meses • • • • • • Nov Dez Jan Fev Mar Abr Mai DJF (Defasagem: 1 mês)‏ Principais setores usuários: Agrícola Hidro-elétrico 0 1 2 3 4 5 6

Slide27: 

Modelo empírico Predictores: TSM Atlântico e Pacífico Preditando: Precipitação Previsões retrospectivas: 1987-2001 Previsões integradas para a América do Sul Integrada Previsões calibradas e combinadas (modelos acoplados + empírico)‏

O modelo empírico: 

O modelo empírico Y|Z ~ N (M (Z - Zo),T)‏ Y: Precipitação em DJF Z: Temp. Superf. Mar (TSM) em Outubro Model utiliza os três primeiros modos da Análise de Máxima Covariância (AMC) da matriz YT Z. Y Z Coelho et al. (2006)‏ Fontes de dados: TSM (Reynolds OI v2) Precipitação (GPCP v2)‏

Modelo empírico (primeiro modo): SCF 71%: 

Modelo empírico (primeiro modo): SCF 71% TSM em Outubro Precipitação em DJF Pacífico tropical (ENOS) e Atlântico: principais fontes de previsibilidade sazonal para a América do Sul

Slide30: 

Anomaly Correlation Coefficient (ACC) médio Melhor (maior) destreza em anos de ENOS do que em anos neutros COM (DEMETER)‏

Modelo empírico (segundo modo): SCF 7.7%: 

Modelo empírico (segundo modo): SCF 7.7% Precipitação em DJF Pacífico tropical, Norte da América do Sul TSM em Outubro

Slide32: 

Primeiro modo (71%)‏ Segundo modo (7.7%)‏

Calibração e combinação Bayesiana: Assimilação de prev.: 

Prévia: Pr. Cond.: Posterior: Calibração e combinação Bayesiana: Assimilação de prev. Matrizes Assimilação de previsões usa os três primeiros modos da AMC da matriz YT X. X: previsões (acopl. + empir.)‏ Y: precipitação em DJF

Assimilação de previsões: primeiro modo (DJF)‏: 

Assimilação de previsões: primeiro modo (DJF)‏ Produzida: Nov, Válida: DJF

Assimilação de previsões: segundo modo (DJF)‏: 

Assimilação de previsões: segundo modo (DJF)‏ Produzida: Nov, Válida: DJF

Slide36: 

Segundo modo: 7.5% Primeiro modo: 78.8% ECMWF UKMO EMP OBS

EUROBRISA: A EURO-Brazilian Initiative for improving South American seasonal forecastskey Idea: To improve seasonal forecasts in S. America: a region where there is seasonal forecast skill and useful value. : 

EUROBRISA: A EURO-Brazilian Initiative for improving South American seasonal forecasts key Idea: To improve seasonal forecasts in S. America: a region where there is seasonal forecast skill and useful value. Aims Strengthen collaboration and promote exchange of expertise and information between European and S. American seasonal forecasters Produce improved well-calibrated real-time probabilistic seasonal forecasts for South America (i.e. combine and calibrate coupled [ECMWF,UKMO,Meteo-France] and empirical forecasts)‏ Develop real-time forecast products for non-profitable governmental use (e.g. reservoir management, hydropower production, agriculture and health) New web address: http://www6.cptec.inpe.br/eurobrisa/ Affiliated institutions

Atividades do projeto EUROBRISA: 

Atividades do projeto EUROBRISA Previsões sazonais probabilísticas com uso de modelos dinâmicos acoplados e empírico Produção de previsões objetivamente integradas (calibração e combinação de prev. dinâmicas e empíricas) Avaliação do desempenho das previsões empíricas, dinâmicas e integradas (combinadas) usando medidas determinísticas e probabilísticas Downscaling dinâmico e estatístico Estudos de previsibilidade sazonal Pesquisa e desenvolvimento: previsões climáticas Impactos (colaboração com usuários)‏ Hydrologia: Downscaling de previsões climáticas sazonais para previsão de vazões de rios e uso em modelos hidrológicos Agricultura: Investigar viabilidade do uso de previsões climáticas sazonais em atividades de agricultura (por exemplo, previsão de safra)‏

Slide39: 

http://www6.cptec.inpe.br/eurobrisa/

Slide40: 

http://www6.cptec.inpe.br/eurobrisa/

Correlação: anomalias de precipitação DJF: 

Empírico Integrada Correlação: anomalias de precipitação DJF Melhor desempenho na região tropical e sudeste da América do Sul Previsões retrospectivas: 1987-2001 Modelos acoplados com C.I. 1 Nov (defasagem de 1-mês)‏ Modelo empírico usa TSM de Out como preditor para precip em DJF Previsão integrada (acoplados + empírico) com assim. de previsões UKMO ECMWF Exemplo de produto de verificação

Brier Skill Score (anomalia pos. ou neg.): precipitação em DJF: 

Empírico Integrada Brier Skill Score (anomalia pos. ou neg.): precipitação em DJF UKMO ECMWF Previsões retrospectivas: 1987-2001 Modelos acoplados com C.I. 1 Nov (defasagem de 1-mês)‏ Modelo empírico usa TSM de Out como preditor para precip em DJF Previsão integrada (acoplados + empírico) com assim. de previsões

Ranked probability skill score (três categorias): precipitação em DJF : 

Empírico Integrada Ranked probability skill score (três categorias): precipitação em DJF UKMO ECMWF Previsões retrospectivas: 1987-2001 Modelos acoplados com C.I. 1 Nov (defasagem de 1-mês)‏ Modelo empírico usa TSM de Out como preditor para precip em DJF Previsão integrada (acoplados + empírico) com assim. de previsões

Gerrity score (três categorias): precipitação em DJF: 

Empírico Integrada Gerrity score (três categorias): precipitação em DJF UKMO ECMWF Previsões retrospectivas: 1987-2001 Modelos acoplados com C.I. 1 Nov (defasagem de 1-mês)‏ Modelo empírico usa TSM de Out como preditor para precip em DJF Previsão integrada (acoplados + empírico) com assim. de previsões

ROC skill score (anomalias pos. ou neg.): precipitação em DJF: 

Empírico Integrada ROC skill score (anomalias pos. ou neg.): precipitação em DJF UKMO ECMWF Previsões retrospectivas: 1987-2001 Modelos acoplados com C.I. 1 Nov (defasagem de 1-mês)‏ Modelo empírico usa TSM de Out como preditor para precip em DJF Previsão integrada (acoplados + empírico) com assim. de previsões

Diagrama de conf. (anom. pos. ou neg.): precipitação DJF: 

Empírico Integrada Diagrama de conf. (anom. pos. ou neg.): precipitação DJF UKMO ECMWF Previsões retrospectivas: 1987-2001 Modelos acoplados com C.I. 1 Nov (defasagem de 1-mês)‏ Modelo empírico usa TSM de Out como preditor para precip em DJF Previsão integrada (acoplados + empírico) com assim. de previsões

Curva ROC (anom. pos. ou neg.): precipitation em DJF: 

Empírico Integrada Curva ROC (anom. pos. ou neg.): precipitation em DJF UKMO ECMWF Previsões retrospectivas: 1987-2001 Modelos acoplados com C.I. 1 Nov (defasagem de 1-mês)‏ Modelo empírico usa TSM de Out como preditor para precip em DJF Previsão integrada (acoplados + empírico) com assim. de previsões

Exemplo de produto de previsão:Probabilidade do tercil mais provável:precipitação DJF 2007 : 

Empírico Integrada Exemplo de produto de previsão: Probabilidade do tercil mais provável: precipitação DJF 2007 Produzida: Nov 2007 ECMWF UKMO

Previsão categórica: precipitação DJF 2007 : 

Empírico Integrada Previsão categórica: precipitação DJF 2007 ECMWF UKMO Produzida: Nov 2007

Prob de anom. pos.: precipitação DJF 2007 : 

Empírico Integrada Prob de anom. pos.: precipitação DJF 2007 ECMWF UKMO Produzida: Nov 2007

Prob de precip. no tercil superior: DJF 2007: 

Empírico Integrada Prob de precip. no tercil superior: DJF 2007 ECMWF UKMO Produzida: Nov 2007

Prob de precip. no tercil inferior: DJF 2007: 

Empírico Integrada Prob de precip. no tercil inferior: DJF 2007 ECMWF UKMO Produzida: Nov 2007

Mais informações …: 

Coelho C.A.S., D. B. Stephenson, F. J. Doblas-Reyes, M. Balmaseda, R. Graham 2007: “Integrated Seasonal Climate Forecasts for South America”. CLIVAR Exchanges No 43, Vol. 12, No 4, 13-19. Coelho C.A.S., D. B. Stephenson, M. Balmaseda, F. J. Doblas-Reyes and G. J. van Oldenborgh, 2006: “Towards an integrated seasonal forecasting system for South America”. J. Climate., Vol. 19, 3704-3721. Coelho C.A.S., 2005: “Forecast Calibration and Combination: Bayesian Assimilation of Seasonal Climate Predictions”. PhD Thesis. University of Reading, 178 pp. Coelho C.A.S., D. B. Stephenson, F. J. Doblas-Reyes and M. Balmaseda, 2005: “From Multi-model Ensemble Predictions to Well-calibrated Probability Forecasts: Seasonal Rainfall Forecasts over South America 1959-2001”. CLIVAR Exchanges No 32, Vol. 10, No 1, 14-20. Stephenson, D. B., C.A.S. Coelho, F. J. Doblas-Reyes, and M. Balmaseda, 2005: “Forecast Assimilation: A Unified Framework for the Combination of Multi-Model Weather and Climate Predictions.” Tellus A, Vol. 57, 253-264. Coelho C.A.S., S. Pezzulli, M. Balmaseda, F. J. Doblas-Reyes and D. B. Stephenson, 2004: “Forecast Calibration and Combination: A Simple Bayesian Approach for ENSO”. Journal of Climate. Vol. 17, No. 7, 1504-1516. Coelho C.A.S., S. Pezzulli, M. Balmaseda, F. J. Doblas-Reyes and D. B. Stephenson, 2003: “Skill of Coupled Model Seasonal Forecasts: A Bayesian Assessment of ECMWF ENSO Forecasts”. ECMWF Technical Memorandum No. 426, 16pp. Disponível em http://www.cptec.inpe.br/~caio Mais informações …