M-estimateur

En statistique, les M-estimateurs constituent une large classe de statistiques obtenues par la minimisation d'une fonction dépendant des données et des paramètres du modèle. Le processus du calcul d'un M-estimateur est appelé M-estimation. De nombreuses méthodes d'estimation statistiques peuvent être considérées comme des M-estimateurs. Dépendant de la fonction à minimiser lors de la M-estimation, les M-estimateurs peuvent permettre d'obtenir des estimateurs plus robustes que les méthodes plus classiques, comme la méthode des moindres carrés.

Définition

Les M-estimateurs ont été introduits en 1964 par Peter Huber sous la forme d'une généralisation de l'estimation par maximum de vraisemblance à la minimisation d'une fonction ρ sur l'ensemble des données. Ainsi, le (ou les) M-estimateur associé aux données et à la fonction ρ est estimé par

${\displaystyle {\hat {\theta }}=\operatorname {argmin} _{\theta }\left(\sum _{i=1}^{n}\rho (x_{i},\theta )\right)}$

Le M de M-estimateur provient donc du maximum de vraisemblance (maximum likelihood-type en anglais) et les estimateurs par maximum de vraisemblance sont un cas particulier des M-estimateurs.

Types

La résolution du problème de minimisation passe couramment par une différentiation de la fonction cible. En effet, pour chercher ${\displaystyle {\hat {\theta }}}$, une méthode simple consiste à chercher les valeurs telles que

${\displaystyle {\frac {\partial }{\partial \theta }}\left(\sum _{i=1}^{n}\rho (x_{i},\theta )\right)=0.}$

Dans le cas où cette différentiation est possible, le M-estimateur est dit de type ψ ; sinon, il est dit de type ρ.

Type ρ

Pour un entier positif r, soit ${\displaystyle ({\mathcal {X}},\Sigma )}$ et ${\displaystyle (\Theta \subset \mathbb {R} ^{r},S)}$ des espaces mesurables, et ${\displaystyle \theta \in \Theta }$ est un vecteur de paramètres. Un M-estimateur de type ρ ${\displaystyle T}$ est défini par une fonction mesurable ${\displaystyle \rho :{\mathcal {X}}\times \Theta \rightarrow \mathbb {R} }$. Il envoie la fonction de répartition d'une loi de probabilités ${\displaystyle F}$ sur ${\displaystyle {\mathcal {X}}}$ vers la valeur ${\displaystyle T(F)\in \Theta }$ (si elle existe) qui minimise ${\displaystyle \int _{\mathcal {X}}\rho (x,\theta )\,\mathrm {d} F(x)}$, soit :

${\displaystyle T(F):=\arg \min _{\theta \in \Theta }\int _{\mathcal {X}}\rho (x,\theta )\mathrm {d} F(x)}$

Par exemple, la fonction qui correspond à l'estimateur du maximum de vraisemblance et ${\displaystyle \rho (x,\theta )=-\log(f(x,\theta ))}$, avec ${\displaystyle f(x,\theta )={\frac {\partial F(x,\theta )}{\partial x}}}$.

Type ψ

Si ${\displaystyle \rho }$ est dérivable par rapport à ${\displaystyle \theta }$, le calcul de ${\displaystyle {\widehat {\theta }}}$ est souvent plus simple. Un M-estimateur de type ψ T est défini pour une fonction mesurable ${\displaystyle \psi :{\mathcal {X}}\times \Theta \rightarrow \mathbb {R} ^{r}}$. Il envoie la fonction de répartition d'une loi de probabilités F sur ${\displaystyle {\mathcal {X}}}$ vers la valeur ${\displaystyle T(F)\in \Theta }$ (si elle existe) qui vérifie l'équation vectorielle:

${\displaystyle \int _{\mathcal {X}}\psi (x,\theta )\,dF(x)=0}$

${\displaystyle \int _{\mathcal {X}}\psi (x,T(F))\,dF(x)=0}$

Par exemple, pour l'estimateur du maximum de vraisemblance, on a ${\displaystyle \psi (x,\theta )=\left({\frac {\partial \log(f(x,\theta ))}{\partial \theta ^{1}}},\dots ,{\frac {\partial \log(f(x,\theta ))}{\partial \theta ^{p}}}\right)^{\mathrm {T} }}$, avec ${\displaystyle u^{\mathrm {T} }}$ désignant le vecteur transposé de u et ${\displaystyle f(x,\theta )={\frac {\partial F(x,\theta )}{\partial x}}}$.

Un tel estimateur n'est pas nécessairement un M-estimateur de type ρ, mais si ρ est dérivée et de dérivée continue par rapport à ${\displaystyle \theta }$, alors une condition nécessaire pour qu'un M-estimateur de type ψ soit un M-estimateur de type ρ est ${\displaystyle \psi (x,\theta )=\nabla _{\theta }\rho (x,\theta )}$. De telles définitions peuvent être adaptés aux échantillons finis.

Si la fonction ψ décroit vers zéro quand ${\displaystyle x\rightarrow \pm \infty }$, l'estimateur est dit décroissant. De tels estimateurs ont d'autres propriétés utiles, comme le rejet des valeurs aberrantes évidentes.

Exemples de M-estimateurs

Parmi les exemples connus de M-estimateurs, on peut citer :

• ${\displaystyle \rho (x)=x^{2}}$, ce qui revient à appliquer la méthode des moindres carrés
• ${\displaystyle \rho (x)=|x|}$
• ${\displaystyle \rho _{k}(x)={\begin{cases}{\frac {x^{2}}{2}}&{\text{ si }}|x|$ (fonction de Huber (en))
• ${\displaystyle \rho _{c}(x)={\frac {c^{2}}{2}}\ln \left(1 \left({\frac {x}{c}}\right)^{2}\right)}$ (fonction de Lorentz)
• ${\displaystyle \rho _{c}(x)={\frac {x^{2}}{2}}\left(1-{\frac {x^{2}}{2c^{2}}} {\frac {x^{4}}{6c^{4}}}\right)}$ (bipoids de Tukey)

Articles connexes

• Méthode des moindres carrés

Références

• Peter J. Huber, Robust Statistics, Wiley, 1981, 2004

• Portail des probabilités et de la statistique