Slide1: Caio A. S. Coelho
Centro de Previsão de Tempo e Estudos Climáticos (CPTEC)
Instituto Nacional de Pesquisas Espaciais (INPE)
caio@cptec.inpe.br Estrutura da apresentação
1. Conceitos e métodos: Niño-3.4
2. Previsões de precipitação para a
América do Sul Calibração e combinação de previsões INMET-IRI “Climate information course”, Brasília, 19 – 23 Novembro 2007
Questões motivadoras:
Questões motivadoras Porque é necessário?
Qual a melhor maneira de se calibrar?
Como obter estimativas de probabilidade?
Quem deve fazer? Calibração Combinação Porque é necessário?
Atribuir pesos ou fazer seleção de previsões?
Qual a melhor maneira de se combinar?
Quem deve fazer?
Esquema conceitual para calibração e combinação de previsões: Esquema conceitual para calibração e combinação de previsões Assimilação de dados “Assimilação de previsões” Espaço observacional Espaço do modelo
Motivação para a combinação: Previsão por conjunto de modelos: Verificação Motivação para a combinação: Previsão por conjunto de modelos Modelo 1 t=0 t=T Espaço de fase do sistema climático
Motivação para a combinação: Previsão por conjunto de modelos: Verificação Modelo 1 Modelo 2 t=0 t=T Espaço de fase do sistema climático Motivação para a combinação: Previsão por conjunto de modelos
Previsão por conjunto de modelos: Previsão por conjunto de modelos Solução: Vários-modelos Conjunto Incertezas: Formulação Condições iniciais
Slide7:
Pierre-Simon Laplace
(1749-1827) O Pioneiro da combinação a p • • • • • • • • • • • • • • • • • • • Laplace (1818): Combinação de dois estimadores inclin. resíduo
Slide8: + métodos =
numéricos
Previsões combinadas apresentam melhor desempenho do que previsões
individuais? Em tempos modernos… Previsões • • •
Slide9: Literatura de combinação de previsões
Trenkler and Gotu (2000): ~600 publicações
(1970-2000)
Extensivamente aplicada em Economia e Meteorologia
Métodos similares são aplicados nas duas áreas
Previsões combinadas são melhores do que previsões individuais
Slide10: Algumas questões
Qual a melhor maneira de se combinar?
Vale a pena incluir todas as previsões disponíveis?
DEMETER: previsão por conjunto de modelos acoplados: DEMETER: previsão por conjunto de modelos acoplados Índice Nino-3.4 (Y)
Período: 1987-99
Conjunto: 9 membros
Jul -> Dez
Defasagem: 5 meses DEMETER web page: http://www.ecmwf.int/research/demeter ECMWF
Meteo-France (MF)
Max Planck Institut (MPI)
Slide12: Previsões do índice Nino-3.4 para Dezembro: sem calibração
Calibração e combinação de previsões:
Calibração e combinação de previsões Combinação linear de M previsões X constantes modelos média do conjunto previsão combinada
Métodos de calibração e combinação:
Remoção do viés da média do conjunto de modelos (Uem)
Regressão da média do conjunto de modelos (Rem)
Regressão do conjunto de modelos (Rall) Métodos de calibração e combinação Kharin and Zwiers (2002), J. Climate.
Como estimar wo e wi ?
Remoção do víes da média do conjunto de modelos (Uem):
Remoção do víes da média do conjunto de modelos (Uem) • • • • • • • • • • • • • • • • • • • • • Previsões Modelo 1 (X ) Modelo 2 (X ) Modelo 3 (X ) Média do
conjunto de
modelos (X’) … t=T t=1 t=2 … observações (Y) (anos) (C) 1 2 3 viés médio
Regressão da média do conjunto de modelos (Rem):
Regressão da média do conjunto de modelos (Rem) • • • • • • • • • • • • • • • • • • • • • Previsões Modelo 1 (X ) Modelo 2 (X ) Modelo 3 (X ) Média do
conjunto de
modelos (X’) Y (C) observações 1 2 3 viés médio
Regressão do conjunto de modelos (Rall):
Regressão do conjunto de modelos (Rall) • • • Previsões Modelo 1 (X ) Modelo 2 (X ) Modelo 3 (X )
Regressão linear múltipla
em notação matricial :
Y: 1 x n (observações)
X: M x n (previsões) 1 2 3
Slide18: Previsões combinadas
Slide19:
Y: Índice Nino-3.4 observado em Dezembro
X: Previsão de Y (média do conjunto) para Dez. Thomas Bayes (1701-1761) Revisão da crença prévia em um evento Y consiste na atualização da prob. de Y quando nova info. X torna-se disponível. Exemplo: média do conjunto (X=x=27C) Prob. condicional:p(X=x|Y) Prévia:p(Y) Posterior:p(Y|X=x) Método Bayesiano: atualização de informação
Assimilação Bayesiana de Previsões (B): Prévia: Prob. cond.: Posterior: calibração Assimilação Bayesiana de Previsões (B) viés Coelho (2005)
Stephenson et al. (2005)
Observações do índice Nino-3.4: TSM de Julho e Dezembro: Reynolds OI V2 (1950-2001) Observações do índice Nino-3.4 Índice Nino-3.4 valores médios:
Jul: 27.1C
Dez: 26.5C
r: 0.87 R2 =0.76 Coelho et al. (2004)
Slide22: Previsões calibradas e combinadas Uem Rall Rem B
Slide23: Previsões em notação Bayesiana Prévia de B Prévia de Rem e Rall Combinação Bayesiana Prévia: Pr. cond.: Regressão de Y em X
Slide24: Medidas de destreza e incerteza Skill Score = [1- MSE/MSE(climatologia)]*100%
Slide25: Conclusões da primeira parte
Previsões podem ser calibradas e combinadas de várias maneiras
Previsões combinadas apresentam melhor desempenho do que previsões individuais
Rall e B apresentaram melhor desempenho para o exemplo do índice Nino-3.4
Inclusão de previsões de um modelo com viés alto não prejudicou a previsão combinada final
Previsões climáticas sazonais:: Previsões climáticas sazonais: • Como são produzidas: Modelos empíricos/estatísticos
Modelos dinâmicos atmosféricos
Modelos dinâmicos acoplados (oceano+atmosfera) Previsões das condições climáticas para os próximos (3-6) meses • • • • • • Nov Dez Jan Fev Mar Abr Mai DJF (Defasagem: 1 mês) Principais setores usuários: Agrícola
Hidro-elétrico 0 1 2 3 4 5 6
Slide27: Modelo empírico
Predictores: TSM Atlântico e Pacífico
Preditando: Precipitação Previsões retrospectivas: 1987-2001 Previsões integradas para a América do Sul Integrada Previsões calibradas e combinadas (modelos acoplados + empírico)
O modelo empírico: O modelo empírico Y|Z ~ N (M (Z - Zo),T) Y: Precipitação em DJF
Z: Temp. Superf. Mar (TSM) em Outubro Model utiliza os três primeiros modos da Análise de Máxima Covariância (AMC) da matriz YT Z. Y Z Coelho et al. (2006) Fontes de dados:
TSM (Reynolds OI v2)
Precipitação (GPCP v2)
Modelo empírico (primeiro modo): SCF 71%: Modelo empírico (primeiro modo): SCF 71% TSM em Outubro Precipitação em DJF Pacífico tropical (ENOS) e Atlântico: principais fontes de previsibilidade sazonal para a América do Sul
Slide30: Anomaly Correlation Coefficient (ACC) médio Melhor (maior) destreza em anos de ENOS do que em anos neutros COM (DEMETER)
Modelo empírico (segundo modo): SCF 7.7%: Modelo empírico (segundo modo): SCF 7.7% Precipitação em DJF Pacífico tropical, Norte da América do Sul TSM em Outubro
Slide32: Primeiro modo (71%) Segundo modo (7.7%)
Calibração e combinação Bayesiana: Assimilação de prev.: Prévia: Pr. Cond.: Posterior: Calibração e combinação Bayesiana: Assimilação de prev. Matrizes Assimilação de previsões usa os três primeiros modos da AMC da matriz YT X. X: previsões (acopl. + empir.)
Y: precipitação em DJF
Assimilação de previsões: primeiro modo (DJF): Assimilação de previsões: primeiro modo (DJF) Produzida: Nov, Válida: DJF
Assimilação de previsões: segundo modo (DJF): Assimilação de previsões: segundo modo (DJF) Produzida: Nov, Válida: DJF
Slide36: Segundo modo: 7.5% Primeiro modo: 78.8% ECMWF UKMO EMP OBS
EUROBRISA: A EURO-Brazilian Initiative for improving South American seasonal forecasts key Idea: To improve seasonal forecasts in S. America: a region where there is seasonal forecast skill and useful value. : EUROBRISA: A EURO-Brazilian Initiative for improving South American seasonal forecasts key Idea: To improve seasonal forecasts in S. America: a region where there is seasonal forecast skill and useful value. Aims
Strengthen collaboration and promote exchange of expertise and information between European and S. American seasonal forecasters
Produce improved well-calibrated real-time probabilistic seasonal forecasts for South America (i.e. combine and calibrate coupled [ECMWF,UKMO,Meteo-France] and empirical forecasts)
Develop real-time forecast products for non-profitable governmental use (e.g. reservoir management, hydropower production, agriculture and health) New web address: http://www6.cptec.inpe.br/eurobrisa/ Affiliated institutions
Atividades do projeto EUROBRISA:
Atividades do projeto EUROBRISA Previsões sazonais probabilísticas com uso de modelos dinâmicos acoplados e empírico
Produção de previsões objetivamente integradas (calibração e combinação de prev. dinâmicas e empíricas)
Avaliação do desempenho das previsões empíricas, dinâmicas e integradas (combinadas) usando medidas determinísticas e probabilísticas
Downscaling dinâmico e estatístico
Estudos de previsibilidade sazonal Pesquisa e desenvolvimento: previsões climáticas Impactos (colaboração com usuários) Hydrologia: Downscaling de previsões climáticas sazonais para previsão de vazões de rios e uso em modelos hidrológicos
Agricultura: Investigar viabilidade do uso de previsões climáticas sazonais em atividades de agricultura (por exemplo, previsão de safra)
Slide39: http://www6.cptec.inpe.br/eurobrisa/
Slide40: http://www6.cptec.inpe.br/eurobrisa/
Correlação: anomalias de precipitação DJF: Empírico Integrada Correlação: anomalias de precipitação DJF Melhor desempenho na região tropical e sudeste da América do Sul Previsões retrospectivas: 1987-2001
Modelos acoplados com C.I. 1 Nov (defasagem de 1-mês)
Modelo empírico usa TSM de Out como preditor para precip em DJF
Previsão integrada (acoplados + empírico) com assim. de previsões UKMO ECMWF Exemplo de produto de verificação
Brier Skill Score (anomalia pos. ou neg.): precipitação em DJF: Empírico Integrada Brier Skill Score (anomalia pos. ou neg.): precipitação em DJF UKMO ECMWF Previsões retrospectivas: 1987-2001
Modelos acoplados com C.I. 1 Nov (defasagem de 1-mês)
Modelo empírico usa TSM de Out como preditor para precip em DJF
Previsão integrada (acoplados + empírico) com assim. de previsões
Ranked probability skill score (três categorias): precipitação em DJF : Empírico Integrada Ranked probability skill score (três categorias): precipitação em DJF UKMO ECMWF Previsões retrospectivas: 1987-2001
Modelos acoplados com C.I. 1 Nov (defasagem de 1-mês)
Modelo empírico usa TSM de Out como preditor para precip em DJF
Previsão integrada (acoplados + empírico) com assim. de previsões
Gerrity score (três categorias): precipitação em DJF: Empírico Integrada Gerrity score (três categorias): precipitação em DJF UKMO ECMWF Previsões retrospectivas: 1987-2001
Modelos acoplados com C.I. 1 Nov (defasagem de 1-mês)
Modelo empírico usa TSM de Out como preditor para precip em DJF
Previsão integrada (acoplados + empírico) com assim. de previsões
ROC skill score (anomalias pos. ou neg.): precipitação em DJF: Empírico Integrada ROC skill score (anomalias pos. ou neg.): precipitação em DJF UKMO ECMWF Previsões retrospectivas: 1987-2001
Modelos acoplados com C.I. 1 Nov (defasagem de 1-mês)
Modelo empírico usa TSM de Out como preditor para precip em DJF
Previsão integrada (acoplados + empírico) com assim. de previsões
Diagrama de conf. (anom. pos. ou neg.): precipitação DJF: Empírico Integrada Diagrama de conf. (anom. pos. ou neg.): precipitação DJF UKMO ECMWF Previsões retrospectivas: 1987-2001
Modelos acoplados com C.I. 1 Nov (defasagem de 1-mês)
Modelo empírico usa TSM de Out como preditor para precip em DJF
Previsão integrada (acoplados + empírico) com assim. de previsões
Curva ROC (anom. pos. ou neg.): precipitation em DJF: Empírico Integrada Curva ROC (anom. pos. ou neg.): precipitation em DJF UKMO ECMWF Previsões retrospectivas: 1987-2001
Modelos acoplados com C.I. 1 Nov (defasagem de 1-mês)
Modelo empírico usa TSM de Out como preditor para precip em DJF
Previsão integrada (acoplados + empírico) com assim. de previsões
Exemplo de produto de previsão: Probabilidade do tercil mais provável: precipitação DJF 2007 : Empírico Integrada Exemplo de produto de previsão: Probabilidade do tercil mais provável: precipitação DJF 2007 Produzida: Nov 2007 ECMWF UKMO
Previsão categórica: precipitação DJF 2007 : Empírico Integrada Previsão categórica: precipitação DJF 2007 ECMWF UKMO Produzida: Nov 2007
Prob de anom. pos.: precipitação DJF 2007 : Empírico Integrada Prob de anom. pos.: precipitação DJF 2007 ECMWF UKMO Produzida: Nov 2007
Prob de precip. no tercil superior: DJF 2007: Empírico Integrada Prob de precip. no tercil superior: DJF 2007 ECMWF UKMO Produzida: Nov 2007
Prob de precip. no tercil inferior: DJF 2007: Empírico Integrada Prob de precip. no tercil inferior: DJF 2007 ECMWF UKMO Produzida: Nov 2007
Mais informações …: Coelho C.A.S., D. B. Stephenson, F. J. Doblas-Reyes, M. Balmaseda, R. Graham 2007: “Integrated Seasonal Climate Forecasts for South America”. CLIVAR Exchanges No 43, Vol. 12, No 4, 13-19.
Coelho C.A.S., D. B. Stephenson, M. Balmaseda, F. J. Doblas-Reyes and G. J. van Oldenborgh, 2006: “Towards an integrated seasonal forecasting system for South America”. J. Climate., Vol. 19, 3704-3721.
Coelho C.A.S., 2005: “Forecast Calibration and Combination: Bayesian Assimilation of Seasonal Climate Predictions”. PhD Thesis. University of Reading, 178 pp.
Coelho C.A.S., D. B. Stephenson, F. J. Doblas-Reyes and M. Balmaseda, 2005: “From Multi-model Ensemble Predictions to Well-calibrated Probability Forecasts: Seasonal Rainfall Forecasts over South America 1959-2001”. CLIVAR Exchanges No 32, Vol. 10, No 1, 14-20.
Stephenson, D. B., C.A.S. Coelho, F. J. Doblas-Reyes, and M. Balmaseda, 2005:
“Forecast Assimilation: A Unified Framework for the Combination of
Multi-Model Weather and Climate Predictions.” Tellus A, Vol. 57, 253-264.
Coelho C.A.S., S. Pezzulli, M. Balmaseda, F. J. Doblas-Reyes and D. B. Stephenson, 2004: “Forecast Calibration and Combination: A Simple Bayesian Approach for ENSO”. Journal of Climate. Vol. 17, No. 7, 1504-1516.
Coelho C.A.S., S. Pezzulli, M. Balmaseda, F. J. Doblas-Reyes and D. B. Stephenson, 2003: “Skill of Coupled Model Seasonal Forecasts: A Bayesian Assessment of ECMWF ENSO Forecasts”. ECMWF Technical Memorandum No. 426, 16pp. Disponível em http://www.cptec.inpe.br/~caio Mais informações …