Théorie de l’estimation

Théorie de l’estimation

Estimation de paramètres déterministes

Les méthodes statistiques d’estimation de paramètres sont basés sur la connaissance des trois composantes suivantes :
• l’ensemble où le(s) parametre(s) à estimer, , prennent valeurs : l’espace de paramètres, 
• la loi de probabilité qui décrit l’effect du paramètre sur les observations : p(r|) ;
• l’ensemble où les observations, r, prennent valeurs : l’espace des observations R.
Pour pouvoir déterminer d’une façon constructive une règle d’estimation, il faut définir un critère qui évalue la qualité des résultats, et définir l’estimée comme l’application de R en  qui optimise ce critère. On présente ensuite plusieurs mesures de la qualité (performance) d’estimateurs.
On commence par analyser le cas où le paramètre à estimer est déterministe, et la description statistique des observations est donnée par la fonction densité de probabilité conditionnelle des observations pour chaque valeur possible du paramètre :

Biais et variance d’estimation

Les estimés sont des variables aléatoires dont la valeur est déterminée par la réalisation qui est observée (la valeur de r). Il est donc naturel d’analyser ses deux premiers moments. Le premier moment est la moyenne (espérance)
Idéalement, c’est-à-dire, l’estimée varie autour de la vraie valeur du paramètre. On désigne la différence par biais d’estimation. Il nous indique la valeur moyenne de l’erreur d’estimation .
Trois cas sont possibles
• pour toutes les valeurs possibles du paramètre. On dit alors que l’estimée est non-biaisée ;

• où B est indépendent de . Dans ce cas l’estimateur a un biais constant et connu, qui peut toujours être eliminé ;
• , c’est-à-dire, on a un biais qui dépend de  (qui est inconnu)
On désire en général avoir des estimateurs qui soient non-biaisés. Cependant, un estimateur peut être non-biaisé et être de mauvaise qualité, s’il produit, avec une grande probabilité, des estimés qui sont très différentes de la vraie valeur. Une deuxième caractéristique importante d’un estimateur est la variance de l’erreur d’estimation :
Cette variance doit être aussi petite que possible, de façon à que l’estimée soit concentrée autour de la vraie valeur du paramètre.

Estimateurs non-biaisés à variance minimale
La conjonction des deux critères décrits conduit la définition d’estimées non-biaisées à variance minimale. Il n’existe pas de procédure génerale pour déterminer ces estimées. Pour des modèles linéaires avec des observations gaussiennes, comme nous le verrons dans la section 4.6, l’estimée non-biaisée de variance minimale existe, et est égale à l’estimée de Maximum de Vraisemblance (voir section 4.3).

Maximum de vraisemblance

Les estimateurs de maximum de vraisemblance correspondent à prendre comme estimateur la valeur qui rend les données plus probables : Nottons que dans cette équation la densité conditionnelle n’est pas utilisée en tant que telle – c’est-à-dire, comme fonction de r – mais plutôt comme fonction du paramètre estimer . Cette fonction s’appelle fonction de vraisemblance, et, d’une façon analogue au rapport de vraisemblance pour les tests d’hypothèses, elle joue un rôle majeur dans la théorie de l’estimation. Maximiser la fonction de vraisemblance L(r,)

Cours gratuitTélécharger le cours complet

Télécharger aussi :

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *