HSCTDOC-fascicule TD Corrige

HSCTDOC.blogspot.
com
SUP’COM
INDP2
Estimation
Travaux dirigés no. 1 : calcul de performances, moindres carrés
1 Calcul de performances
Dans la pratique, on dispose d’un ensemble de N observations (x1 , . . . , xN ) pour estimer la variance σ 2 et la moyenne
statistique m de la variable aléatoire X, associée au phénomène physique étudié. On propose comme estimateur
N N
4 1 X 4 1 X
m̂ = xn σ̂ 2 = (xn − m̂)2 . (1)
N n=1 N n=1
Calculer le biais et la variance de ces deux estimateurs.
2 Regression linéaire
On suppose que les N observations x1 , . . . , xN des positions d’un mobile s’expriment comme suit :
1 2
∀n = 1, . . . , N xn = gt + vtn + s0 + bn (2)
2 n
où les tn sont les instants d’observation et les paramètres inconnus sont g, v, s0 , bn correspond à l’erreur de mesure faite à
l’instant n. Calculer l’estimateur au sens des moindres carrés du vecteur paramètre inconnu.
3 Transformation de paramètres
Soit les N références : ∀ n = 0, . . . N − 1 s(n) = A cos(2πf0 n + φ), où la fréquence f0 est supposée connue et où les deux
paramètres A > 0 et φ sont inconnus. On désire les estimer par la méthode des moindres carrés ordinaires à partir échantillon
de N observations : x(0), . . . , x(N − 1).
1. Ecrire explicitement le critère à minimiser. De quel type de problème s’agit-il ?
2. Proposer un changement de variables bijectif qui rende linéarise le problème en fonction du nouveau couple de
paramètres que l’on notera (α, β).
3. En déduire ÂM C et φ̂M C .
HSCTDOC - page1
1
HSCTDOC.blogspot.com
HSCTDOC - page2
HSCTDOC - page3
HSCTDOC - page4
HSCTDOC - page5
HSCTDOC - page6
SUP’COM
INDP2
Estimation
Travaux dirigés no. 2 : maximum de vraisemblance
1 Loi de Poisson
On s’intéresse à un phénomène physique auquel on associe une variable aléatoire X distribuée selon une loi de
Poisson PX;λ (·) :
λk −λ
∀k ∈ N PX;λ (k) = e . (1)
k!
Déterminer par la méthode du maximum de vraisemblance un estimateur de λ à partir d’un échantillon
x1 , . . . , x N .
2 Loi gaussienne
On s’intéresse à un phénomène physique auquel on associe une variable aléatoire X distribuée selon une loi
gaussienne fX;m,σ2 (·). Déterminer par la méthode du maximum de vraisemblance un estimateur de (m, σ 2 ) à
partir d’un échantillon x1 , . . . , xN .
3 Loi log-normale
On s’intéresse à un phénomène physique auquel on associe une variable aléatoire X distribuée selon une loi
gaussienne fX;m,σ2 (·). On pose Y = exp(X).
1. Déterminer la loi de Y appelée loi log-normale.

2. Calculer les moments E[Y ].
3. On note θ = E[Y ] et on considère la loi de Y paramétrée par m et θ. Déterminer les estimateurs de
maximum de vraisemblance m̂mv et θ̂mv de m et θ.
HSCTDOC - page7
1
HSCTDOC - page8
HSCTDOC - page9
HSCTDOC - page10
HSCTDOC - page11
SUP’COM
INDP2
Estimation
Travaux dirigés no. 3 : Borne de Cramer-Rao, estimateur efficace
1 Modèle linéaire
On considère le modèle d’observation suivant :
xn = Arn + wn , (1)
où r est un paramètre positif connu, A un paramètre réel inconnu et wn une réalisation d’un bruit blanc gaussien
N (0, σ 2 ) avec σ 2 connu.
1. Donner l’expression de la log-vraisemblance.
2. Calculer l’estimateur du maximum de vraisemblance.

3. Montrer que les conditions de régularité sont vérifiées.
4. Calculer la borne de Cramer-Rao.
5. Montrer que cette borne est atteinte.

6. Etudier les performances asymptotiques de l’estimateur efficace.
2 Une loi normale particulière

On considère un phénomène physique décrit par une variable aléatoire de loi N (θ, θ2 ). Montrer que la moyenne
empirique de l’échantillon n’est pas efficace.
3 Loi gamma
La loi gamma de paramètres a > 0 et λ > 0 notée G(a, λ) a pour densité :
λa a−1 −λx
∀x ∈ R, fa,λ (x) = x e χR∗+ (x), (2)
Γ(a)
où Γ(·) est la fonction gamma définie par :

Z +∞
4
Γ(a) = e−x xa−1 dx. (3)
0
1. Montrer que E[X] = a/λ.

2. On considère un phénomène physique décrit par une variable aléatoire de loi G(2, 1/θ) où θ est inconnu.
Calculer la borne de Cramer-Rao.
3. Proposer un estimateur sans biais et efficace de θ à partir d’un échantillon iid de taille N .
4. On pose µ = 1/θ2 . Calculer la borne de Cramer-Rao pour µ et montrer qu’il n’existe pas d’estimateur
efficace de µ.
HSCTDOC - page12
1
HSCTDOC - page13
HSCTDOC - page14
HSCTDOC - page15
HSCTDOC - page16
HSCTDOC - page17
HSCTDOC - page18
SUP’COM
INDP2
Estimation
Travaux dirigés no. 4 : Estimation bayésienne
1 Estimation du paramètre d’une distribution exponentielle

On associe au phénomène aléatoire considéré une variable aléatoire X. On sait que la loi de X
conditionnellement à une autre variable aléatoire θ s’exprime comme suit :

θ exp(−θ0 x) si x ≥ 0
fX/θ=θ0 = . (1)
0 sinon
Par ailleurs, la densité de probabilité a priori de θ est donnée par la relation suivante :

b exp(−bθ0 ) si θ0 ≥ 0
fθ (θ0 ) = , (2)
0 sinon
où b est un paramètre réel strictement positif donné.
1. Calculer l’estimateur bayésien θbbay pour un coût quadratique obtenu à partir d’un échantillon
de mesures (x1 , . . . , xN ).
2. Calculer directement la moyenne statistique de θbbay .
2 Loi gaussienne
On associe au phénomène aléatoire considéré une variable aléatoire X. On suppose que la loi de X
conditionnellement à une autre variable aléatoire θ est la loi gaussienne N (θ, 1). La loi a priori de θ
est la loi gaussienne N (m, τ 2 ) øù m et τ 2 sont le hyperparamètres du modèle.
2
1. Montrer que la loi a posteriori de θ est la loi gaussienne N ( m+N τ X̄N
N τ 2 +1
1
, N +1/τ 2 ) où X̄N est la
moyenne empirique de l’échantillon iid de taille N .
2. En déduire l’estimateur bayésien de θ pour un coût quadratique.

1
3. Prouver que le risque associé est N +1/τ 2
. Commenter.
HSCTDOC - page19
HSCTDOC - page20
HSCTDOC - page21
HSCTDOC - page22
HSCTDOC - page23
SUP’COM
INDP2
Estimation
Travaux dirigés no. 5 : Estimation linéaire en moyenne quadratique
1 Importance de centrer !
Soit Φ une phase aléatoire uniformément distribuée dans [0, π]. On considère les deux variables
aléatoires X et Y définies par :
4 4
X = cos(Φ) Y = sin(Φ). (1)
1. Calculer E[X], E[Y ].
2. Calculer Cov(X, Y ).
3. Calculer la meilleure estimation linéaire de Y en fonction de X.
4. Calculer la meilleure estimation linéaire de X en fonction de Y . Commenter les résultats obtenus.
2 Processus auto-régressif d’ordre 1

On considère un processus Xn à temps discret stationnaire au sens large tel que :
E[Xn ] = µ Cov(Xn−k , Xn−l ) = σ 2 ρ|l−k| , (2)
où ρ est un réel strictement positif.
1. Quelle inégalité vérifie forcément ρ ?
2. Quel est le meilleur estimateur affine X

bn = aXn−1 + b de Xn en fonction de Xn−1 .
3. Commenter le résultat obtenu.
4. Que vaut l’erreur quadratique moyenne d’estimation ?
5. On désire estimer Xn par X

bn d’expression :
P
X
X
bn = ap Xn−p + b0 , (3)
p=1
où P désigne l’ordre de prédiction linéaire. S’agit-il d’un problème d’estimation bayésien ? Quel
est l’intérêt de procéder à ce type d’estimation.
6. Quel système d’équations vérifient le jeu de coefficients (a1 , . . . , aP , b0 ) minimisant l’erreur

quadratique moyenne d’estimation ?
HSCTDOC - page24
HSCTDOC - page25
HSCTDOC - page26
HSCTDOC - page27

HSCTDOC-fascicule TD Corrige

Transféré par

Droits d'auteur :

Formats disponibles

HSCTDOC-fascicule TD Corrige

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

HSCTDOC-fascicule TD Corrige

Transféré par

Droits d'auteur :

Formats disponibles

HSCTDOC.blogspot.

Travaux dirigés no. 1 : calcul de performances, moindres carrés

Calculer le biais et la variance de ces deux estimateurs.

1. Ecrire explicitement le critère à minimiser. De quel type de problème s’agit-il ?

3. En déduire ÂM C et φ̂M C .

Travaux dirigés no. 2 : maximum de vraisemblance

1. Déterminer la loi de Y appelée loi log-normale.

Travaux dirigés no. 3 : Borne de Cramer-Rao, estimateur efficace

1. Donner l’expression de la log-vraisemblance.

2. Calculer l’estimateur du maximum de vraisemblance.

5. Montrer que cette borne est atteinte.

2 Une loi normale particulière

où Γ(·) est la fonction gamma définie par :

1. Montrer que E[X] = a/λ.

Travaux dirigés no. 4 : Estimation bayésienne

1 Estimation du paramètre d’une distribution exponentielle

où b est un paramètre réel strictement positif donné.

2. Calculer directement la moyenne statistique de θbbay .

moyenne empirique de l’échantillon iid de taille N .

2. En déduire l’estimateur bayésien de θ pour un coût quadratique.

Travaux dirigés no. 5 : Estimation linéaire en moyenne quadratique

1. Calculer E[X], E[Y ].

3. Calculer la meilleure estimation linéaire de Y en fonction de X.

4. Calculer la meilleure estimation linéaire de X en fonction de Y . Commenter les résultats obtenus.

2 Processus auto-régressif d’ordre 1

E[Xn ] = µ Cov(Xn−k , Xn−l ) = σ 2 ρ|l−k| , (2)

où ρ est un réel strictement positif.

1. Quelle inégalité vérifie forcément ρ ?

2. Quel est le meilleur estimateur affine X

3. Commenter le résultat obtenu.

4. Que vaut l’erreur quadratique moyenne d’estimation ?

5. On désire estimer Xn par X

6. Quel système d’équations vérifient le jeu de coefficients (a1 , . . . , aP , b0 ) minimisant l’erreur

Vous aimerez peut-être aussi