DCC-MGARCH and Regime Switching models

Cadre général des modèles graphiques probabilistes.

Origines et formalisme

Les modèles graphiques probabilistes (MGP), aussi appelés réseaux bayésiens, représentent un formalisme issu de la recherche en intelligence artificielle. Quoique trouvant ses origines dans les années soixante, cette approche a connu un développement important dans les années quatre-vingt dix afin de modéliser des problèmes complexes provenant de la reconnaissance d’écriture manuscrite, de la séparation de sources auditives, de la reconnaissance d’images ou encore de la classification de données.
Ce formalisme repose sur deux disciplines : la théorie des probabilités et la théorie des graphes 11. Dans ce cadre, l’impact d’une variable, d’un système, d’un évènement sur un/une autre est re-présenté par un graphe. Cette représentation graphique de la causalité permet de modéliser une relation de dépendance entre ces variables ; cette relation est alors quantifiée avec des probabilités. Ainsi, plus formellement, un MGP peut être représenté par le couple {G , {p}} tel que :
– G = (X , E) est un graphe acyclique orienté dans lequel X représente les noeuds mais aussi des variables aléatoires et E les arcs, permettant de décrire les relations de dépendances entre les variables.
– {p} représente un ensemble de lois de probabilités conditionnelles, où chaque élément corres-
pond à la distribution de Xi , i = 1, …, n, conditionnellement à l’ensemble de ses variables pa-rentes.
Un MGP est donc un formalisme possédant une dimension qualitative, avec un graphe acyclique orienté représentant les relations causales du modèle, et une dimension quantitative, représentée par une probabilité conditionnelle.
Les MGP que nous considérons dans cette thèse sont construits sur une hypothèse Markovienne. En d’autres termes, la caractéristique de ce cas particulier de MGP suppose que les variables du modèle à l’instant t dépendent de l’instant t − 1. Le modèle à chaîne de Markov caché (appelé selon son abréviation anglaise HMM, pour Hidden Markov Model) constitue ainsi le modèle de réfé-rence de cette classe particulière de MGP. La section suivante rappelle les principales propriétés de ce modèle.

Modèle de Markov caché

Origines Le modèle HMM trouve ses origines dans la construction des modèles de mélange de lois 12. L’objectif du modèle de mélanges consiste à estimer une densité de probabilité en supposant
que cette densité est un mélange fini de densités. En notant par {Yt }t∈N∗ vecteur d’observations indépendantes de dimension k ayant pour fonction de densité f (yt ) sur Rk, la densité de {Yt } a pour expression : N f (yt ) = ∑ πi f (yt ; φi ) (1.40) i=1 où f (yt ; φi ) désigne une de densité de probabilité de paramètres φi . Le paramètre πi ∈ (0, 1) cor-respond à la proportion de la composante i dans le mélange. Pour que la fonction f (yt ) soit une densité de probabilité, la suite positive (πi )i∈N∗ doit alors vérifier :
L’estimation du modèle de mélange tel qu’il vient d’être présenté est particulièrement délicate pour la simple raison que l’on ne peut affecter les observations aux composantes du mélange. Une solution usuelle à ce problème consiste alors à reconsidérer le modèle de mélange dans un cadre de données incomplètes. Cette méthode associe à chaque vecteur yt la variable indicatrice
Le modèle de mélanges en données incomplètes est donc représenté par le couple {Yt , St }t∈N∗ . Les données étant supposées réparties dans différentes composantes, le poids d’une composante peut s’interpréter comme la probabilité qu’une observation appartienne à la composante i : πi = P[st = i]. Le modèle est alors construit à partir d’une structure sous-jacente latente formée de la va-riable indicatrice iid 1{sn =i}. La probabilité conditionnelle et la probabilité jointe des observations s’écrivent respectivement :
Le modèle de mélanges de lois peut être vu comme un modèle à variable latente en supposant qu’aux données observées correspond une indicatrice d’appartenance à une composante. Cette approche peut être enrichie en supposant que l’indicatrice suit une chaîne de Markov cachée, ce qui permet d’introduire une dimension temporelle sur l’indicatrice des composantes.
Chaîne de Markov Rappelons brièvement les principales définitions et propriétés nécessaires concernant les chaînes de Markov 13. Soit S un espace dénombrable appelé espace d’états, dans lequel chaque i ∈ S est appelé état. Une chaîne de Markov d’ordre k est alors définie par une suite de variables aléatoires (st )t∈N à valeur dans S telle que, pour tout it ∈ S , t ≥ 1 :

Extensions

Le modèle HMM constitue l’un des plus simple MGP. De nombreuses extensions sont apparues dans la littérature, répondant à des besoins spécifiques de modélisation. Nous présentons ici celles que nous avons utilisé dans les contributions de cette thèse.
HMM factoriel Introduit par Ghahramani and Jordan (1997), le HMM factoriel (FHMM) sup-pose que l’état caché est décomposé en plusieurs états sous une forme factorisée. La chaîne de Markov principale du modèle est donc décomposée en plusieurs chaînes évoluant en parallèle. Une représentation graphique du FHMM sous forme de réseau bayésien dynamique (DBN) est visible sur la figure 1.4(a), où {s1} et {s2} sont deux chaînes de Markov évoluant en parallèle.
HMM couplé Le HMM couplé (Coupled HMM, CHMM) est exposé en détail dans l’étude de Brand (1997). Le modèle est bâti sur l’hypothèse qu’une chaîne de Markov peut avoir une influence sur une autre chaîne de Markov du modèle. Cette extension relâche donc l’hypothèse d’indépen-dance des chaînes du modèle FHMM, comme l’illustre la figure 1.4(b). Dans cette {s1} et {s2} sont deux chaînes de Markov évoluant en parallèle mais possédant des interdépendances.
Arbre de décision Markovian Jordan, Ghahramani, and Saul (1997) proposent un arbre de déci-sion stochcastique (Hidden Markov Decision Tree, HMDT). Ce modèle est un fait une spécifica-tion hybride puisque qu’un HMDT est un HMM qui est factorisé et couplé. C’est donc le mariage entre le FHMM et le CHMM. Ce modèle est représenté sur la figure 1.4(c). Ce modèle autorise la présence d’un input, représenté par la variable xt , pour conditionner les dépendances de l’arbre.
HMM hiérarchique Le HMM hiérarchique (Hierarchical HMM, HHMM) est une extension du modèle HMM de base introduite par Fine, Singer, and Tishby (1998). L’idée est de construire un processus stochastique à plusieurs niveaux en adoptant une structure par arbre afin d’obtenir un entrelacement de régimes. Une représentation sous forme de DBN est donnée sur la figure 1.4(d). La composante fti , i = 1, 2, du graphique est une variable indicatrice prenant la valeur un ou zéro suivant la profondeur de l’arbre nécessaire pour produire une observation. Il est peut être né-céssaire de préciser que la représentation DBN n’est certainement pas la représentation la plus intuitive qui soit pour représenter ce modèle. Une représentation sous forme d’arbre est visible dans le chapitre 2.