La qualité des prévisions: critères d’évaluation et méthodes de correction  de biais

Dans  ce  chapitre,  nous  présentons  les  méthodes  utilisées  pour  examiner  la  qualité  des  prévisions  d’ensemble  et  ses  principaux  attributs.  Nous  discutons  également  des  différentes  approches  statistiques  existantes  dans  la  littérature  pour  améliorer  la  qualité  des  prévisions.  Les approches exploitées dans cette thèse sont présentées.  Selon  Murphy  (cité  dans  Jolliffe  et  Stephenson,  2003),  une   » bonne  prévision  »  peut  l’être  selon  deux  aspects  :  i)  la  qualité,  qui  examine  la  correspondance  entre  observations  et prévisions, et ii) la valeur (ou utilité), qui concerne la valeur économique de la prévision pour  un utilisateur décideur.  Dans  ce  chapitre,  nous  nous  focalisons  sur  l’évaluation  de  la  qualité  des  prévisions  (l’utilité  sera  abordée  au  Chapitre  4).  Le  but  est  de  comprendre  les  attributs  que  l’on  souhaite  retrouver  dans  les  prévisions et  d’introduire  les  critères  appropriés  qui  seront  utilisés  dans  cette thèse.  Une fois les critères d’évaluation définis, des approches statistiques qui cherchent à améliorer  la qualité des prévisions sont présentées. Nous nous focalisons également sur les approches  qui seront utilisées dans le cadre de cette thèse.La  qualité  d’une  prévision  est  en  général  jugée  par  rapport  à  l’observation.  Dans  le  cadre  simple  de  l’évaluation  d’une  prévision  à  scénario  unique,  on  peut  directement  dire  que  la  prévision est « correcte » ou  « fausse » une fois l’événement observé. En revanche, dans le cadre  des  prévisions  probabilistes  ou  des  prévisions  d’ensemble  certaines  particularités  sont  à  prendre  en  compte  dans  l’évaluation  de  la  qualité  des  prévisions.  Puisque  ces  prévisions  attribuent  une  probabilité  à  l’occurrence  et  à  la  magnitude  d’un  événement,  les  prévisionnistes  doivent  également  évaluer  cette  information  sur  l’incertitude  de  la  prévision  émise.  Il  s’agit  de  déterminer  comment  la  probabilité  des  événement  s  prévus  dans  l’ensemble correspond à la fréquence à laquelle les événement s sont observés (évaluation de  la cohérence statistique des prévisions). Pour cela, il  est nécessaire de comparer  une  longue  série de prévisions avec la série correspondante des observations. Selon Jolliffe et Stephenson  (2003),  cette  évaluation  de  la  qualité  d’une  prévision  d’ensemble  consiste  à  trouver  où  se  situe l’observation par rapport à la gamme de valeurs prévues par les différents membres de  la prévision d’ensemble.

Ces  différents  membres  de  la  prévision  d’ensemble  déterminent  la  densité  de  probabilité  prédictive.  La  fonction  de  répartition  correspondante  donne  les  probabilités  au  non‐dépassement pour différentes valeurs de la variable. L’évaluation de la prévision s’effectue en  comparant,  sur  une  longue  série  de  paires   » prévision‐observation « ,  la  probabilité  de  prévision  affectée  par  la  prévision  d’ensemble  à  l’observation  et  la  fréquence  empirique  d’occurrence de l’observation. Murphy et Winkler (1987) ont ainsi proposé une approche d’évaluation des prévisions centrée sur la distribution conjointe des prévisions et des observations. Cette approche est basée sur  le  principe  que,  si  les  prévisions  et  les  observations  sont  des  variables  indépendantes  et  identiquement  distribuées,  la  relation  entre  prévision  et  observation  est  décrite  intégralement par leur distribution conjointe.  répondre,  par  exemple,  à  la  question   » quelle  observation  est  la  plus  probable  pour  une  prévision  donnée  ? « .  Cette  distribution  de  probabilité conditionnelle  est  également  appelée  » distribution de probabilité a posteriori « . Elle donne les valeurs possibles de l’observation en  fonction des valeurs prévues par la prévision f.  est  la  fonction  de  vraisemblance.  Elle  permet  de  répondre  à  la  question :   » quelle  prévision  ressemble  le  plus  à  l’observation  ? « .  C’est à cette question que nous nous adressons lors du traitement statistique des prévisions  pour  la  correction  des  erreurs  de  prévision.  Nous  cherchons  à  identifier  la  distribution  prédictive qui capture l’observation. Les erreurs des prévisions brutes sont corrigés de façon à  aboutir,  par  exemple,  à  un  maximum  de  vraisemblance  (les  méthodes  de  traitement  statistique de correction de biais sont présentées dans §3.3).

Les  deux  factorisations  des  probabilités  conjointes  présentées  peuvent  être  utilisées  pour déterminer les attributs définissant la qualité des prévisions. Murphy (1997) a montré que les  moments de la distribution conjointe,  des distributions marginales, ainsi que des distributions  conditionnelles décrivent les différents attributs de la qualité des prévisions. La qualité d’une  prévision est pourtant un concept multidimensionnel.  Par la factorisation 1, le biais conditionnel des observations o étant donnée la prévision f peut être mesuré. Dans la littérature, ce biais est souvent connu comme   » Biais du Type I « .  Il est  une mesure globale de la fiabilité des prévisions (Bradley et al., 2004). Mathématiquement, il  est exprimé par : Les  prévisions  conditionnellement  non‐biaisées,  c’est‐à‐dire,  fiables,  sont  désirables.  La  fiabilité  correspond  à  la  ressemblance  entre  les  probabilités  associées  à  l’observation  par  la  prévision  et  les  fréquences  relatives  d’occurrence  des  valeurs  observées.  Un  système  de  prévision fiable est capable de bien représenter les incertitudes de prévision et de fournir des  intervalles  de  confiance  qui  correspondent  bien  aux  niveaux  de  confiance  réels  (ou  qui  sont  proches des niveaux nominaux) des observations. Remarquons que Murphy (1973) a utilisé le  terme de   » validité  »  au lieu de   » fiabilité « , avec une notion plus générale, liée à la prévision  dans sa totalité.