Munich Personal RePEc Archive

Introduction to Econometrics

Keita, Moussa

September 2015

Online at https://mpra.ub.uni-muenchen.de/66840/
MPRA Paper No. 66840, posted 22 Sep 2015 04:21 UTC
 INTRODUCTION A L’ECONOMETRIE
____
Par
Moussa Keita, PhD*
Septembre 2015
(Version 1)

*Ecole d’Economie, Université d’Auvergne clermont Ferrand 1

Contact info: Email : keitam09@ymail.com

Codes JEL: C1, C2

Mots clés: Econométrie, Modèle linéaire, Variable qualitative, logit, probit,

MCO, Maximum de vraisemblance
 AVANT-PROPOS
Ce manuscrit propose une introduction à l’analyse économétrique. Il est articulé
autour de deux grandes parties structurées sur six chapitres. La première partie,
consacrée à l’étude du modèle linéaire, est constituée de quatre chapitres. Le
premier présente quelques concepts statistiques utiles en Econométrie alors que
le second et le troisième chapitre sont consacrés à l’étude du modèle linéaire
simple et du modèle linéaire multiple. Quant au quatrième chapitre, il se focalise
sur l’étude du modèle linéaire généralisé (utilisé en cas de violation de certaines
hypothèses standards du modèle linéaire). Dans cette première partie, un accent
particulier est mis sur les méthodes d’estimation telles que la méthode des
moindres carrés ordinaires et la méthode de maximum de vraisemblance. Une
large discussion est également menée sur les techniques d’inférence et sur les
approches de tests d’hypothèses. La seconde partie du travail est consacrée à
l’étude des modèles à variable dépendante qualitative. Dans cette partie, deux
classes de modèles sont étudiées : celles des modèles à variable dépendante
dichotomique (probit et logit standard) et celle des modèles à variables
dépendante polytomique (probit et logit multinomiaux ordonnés et non ordonnés).
Le manuscrit étant toujours en cours de progression, nous restons réceptifs à
toutes critiques et suggestions de nature à améliorer le contenu du travail.

2
CHAPITRE 1. CONCEPTS STATISTIQUES DE BASE
EN ECONOMETRIE ............................................................. 7
1.1. Notions de série statistique.................................................... 7
1.2. Tendance centrale et de dispersion d’une série ................ 7
1.2.1. La moyenne ............................................................................................... 7
1.2.2. La variance: .............................................................................................. 7
1.2.3. L’écart-type ............................................................................................... 7
1.2.4. Covariance (de deux séries) ...................................................................... 8
1.2.5. Le coefficient de corrélation linéaire (entre deux séries) ........................ 8
1.2.6. Le coefficient de détermination ................................................................ 8
1.3. Quelques rappels sur l’opérateur d’espérance E(.) ........... 9
1.3.1 Définition et propriétés de l’opérateur d’espérance ................................. 9
1.3.2. Quelques utilisations de l’opérateur d’espérance .................................. 10
1.4. Rappel sur les lois statistiques usuelles ............................ 12
1.4.1. La loi normale et le théorème central limite ......................................... 12
1.4.2. La loi de khi-deux ................................................................................... 12
1.4.3. La loi de Student..................................................................................... 13
1.4.4. La loi de Fisher ....................................................................................... 13
1.5. Rappel sur les tests d’hypothèses ....................................... 13
1.5.1. Forme générale d’un test d’hypothèse ................................................... 13
1.5.2. Test bilatéral ........................................................................................... 15
1.5.3. Test unilatéral (à droite) ........................................................................ 19
1.5.4. Test unilatéral (à gauche) ...................................................................... 21
1.6. Les règles d’utilisation des tables statistiques usuelles. 23
1.6.1. Utilisation de la table de la loi normale centrée réduite ...................... 23
1.6.2. Utilisation de la table de Student .......................................................... 26
1.6.3. Utilisation de la table de khi-deux......................................................... 27

CHAPITRE 2 : LE MODELE LINEAIRE SIMPLE ....... 29

2.1. Estimation par les moindres carrés ordinaires ............... 29
2.1.1. Les valeurs ajustées (ou valeurs prédites) du modèle........................... 32
2.1.2. Les hypothèses de base sur les résidus de régression ........................... 32

3
 2.1.3. Décomposition de la somme des carrés .................................................. 33
2.1.4. Equation de décomposition de la variance ............................................ 35
2.1.5. Le coefficient de détermination : 𝑹𝟐 et 𝑹𝟐 ajusté ................................. 36
2.1.6. Calcul de la variance estimée des résidus ............................................. 38
2.2. Propriétés des estimateurs : biais et convergence ......... 38
2.2.1. Le biais d’estimation............................................................................... 39
2.2.2. Convergence d’un estimateur ................................................................. 41
2.3. Inférence statistique .................................................................................. 44
2.3.1. Les lois de distributions des paramètres estimés ................................. 44
2.3.2. Test de significativité des coefficients estimés ...................................... 47
2.3.3. Intervalle de confiance des paramètres estimés ................................... 50
2.3.4. Prédiction à l’intérieur de l’échantillon et intervalle de confiance de la
droite de régression .......................................................................................... 52
2.3.5. Prédiction hors-échantillon et erreur de prédiction .............................. 52
2.3.6. Linéarisation des modèles non-linéaires ............................................... 56
2.4. Estimateur du maximum de vraisemblance ..................... 57
CHAPITRE 3. LE MODELE LINEAIRE MULTIPLE ... 60
3.1. Estimation par Moindre Carrés ordinaires .............................................. 60
3.1.1. Résolution du système par substitution ................................................ 61
3.1.2. Représentation matricielle des données ................................................ 62
3.1.3. Correspondance entre la méthode de substitution et la méthode
matricielle ......................................................................................................... 64
3.1.4. Calcul des valeurs prédites .................................................................... 67
3.1.5. Calcul des valeurs résiduelles ................................................................ 67
3.1.6. Calcul de la variance totale, expliquée et résiduelle ............................. 67
3.1.7. Matrice de variance-covariance ............................................................. 68
3.1.8. La matrice de corrélation ....................................................................... 69
3.2. Propriétés des estimateurs .................................................. 70
3.2.1. Esperance et Biais d’estimation ............................................................. 70
3.2.2. Variance et Convergence ........................................................................ 71
3.2.3. Distribution de probabilité des estimateurs .......................................... 72
3.3. Tests d’hypothèses sur les coefficients estimés ............... 75

4
 3.3.1. Test sur les coefficients individuels ....................................................... 75
3.3.2. Test sur une combinaison linéaire de coefficients (Test de Wald) ........ 76
3.4. Estimateur des moindres carrés contraints ..................... 80
3.4.1. Propriété de l’estimateur des moindres carrés contraints .................... 81
3.4.2. Le test de Fisher (sur la validité des contraintes)................................. 81
3.4.3. La statistique de Fisher dans le cadre du test de Chow (ou test de
changement de régime) .................................................................................... 82
3.5. Estimation par maximum de vraisemblance .................... 84
CHAPITRE 4. LE MODELE LINEAIRE GENERALISE
................................................................................................. 88
4.1. Test de normalité des résidus .............................................. 88
4.2. Test d’hétéroscédasticité ...................................................... 89
4.2.1. Le test Goldfeld-Quandt ......................................................................... 91
4.2.2. Le test Breush-Pagan ............................................................................ 92
4.2.3. Le test de White ..................................................................................... 93
4.2.4. Correction de l’hétéroscédasticité .......................................................... 94
4.3. Test d’autocorrélation des erreurs ..................................... 97
4.3.1. Le test d’autocorrélation de Durbin-Watson ......................................... 98
4.3.2. Le test d’autocorrélation de Box-Pierce ............................................... 100
4.3.3. Le test d’autocorrélation de Ljung-Box................................................ 100
4.3.4. Correction de l’autocorrélation ............................................................. 100
4.4. Autres cas de violation des hypothèses de base du
modèle linéaire ............................................................................ 104
CHAPITRE 5. MODELES A VARIABLE DEPENDANTE
DICHOTOMIQUE.............................................................. 106
5.1. Présentation .......................................................................... 106
5.2. Choix de la fonction 𝑭. et nature du modèle ................... 108
5.2.1. Le modèle probit ................................................................................... 108
5.2.2. Le modèle logit ...................................................................................... 109
5.3. Définition du modèle dichotomique à partir d’une
variable latente ............................................................................ 110

5
 5.4. Estimation du modèle dichotomique ............................... 111
5.4.1. Méthode de maximum de vraisemblance (MV) ................................... 111
5.4.2. Propriétés des estimateurs MV ............................................................ 113
5.5. Le modèle de probabilité linéaire ..................................... 114
5.6. Les effets marginaux dans le modèle dichotomique ..... 115
5.7. Les Odds ratio dans le modèle logit ................................. 116
5.8. Passage du modèle probit au modèle logit ..................... 117
5.9. Diagnostics sur la qualité de l’estimation des modèles
logit et probit ............................................................................... 120
5.9.1. Le R2 de McFadden .............................................................................. 120
5.9.2. Le pouvoir de prédiction du modèle et le pseudo R2 ........................... 120
5.10. Test d’hypothèses dans le cadre du modèle
dichotomique................................................................................ 121
5.10.1. Test sur un coefficient ........................................................................ 121
5.10.2. Test de Wald sur une contrainte linéaire de coefficients .................. 122
5.10.3. Test du rapport de vraisemblances .................................................... 123
5.10.4. Le test du multiplicateur de Lagrange .............................................. 124

CHAPITRE 6. MODELES A VARIABLE DEPENDANTE

POLYTOMIQUE ................................................................ 125
6.1. Présentation .......................................................................... 125
6.2. Modèles multinomiaux ordonnés : logit et probit
ordonnés ........................................................................................ 126
6.3. Les modèles multinomiaux non ordonnés : cas du logit
non ordonné ................................................................................. 129
6.4. Les extension des modèles multinomiaux : logit
conditionnel, logit emboité et modèles séquentiels. ............ 131
6.4.1. Le modèle logit conditionnel ................................................................ 131
6.4.2. Le modèles multinomiaux séquentiels ................................................ 134

Bibliographie ..................................................................... 135

6
 CHAPITRE 1. CONCEPTS STATISTIQUES DE
BASE EN ECONOMETRIE
1.1. Notions de série statistique
On s’intéresse à deux variables 𝑥 et 𝑦 mesurées sur 𝑛 unités d’observation. Pour
chaque unité, on obtient alors donc deux mesures. La série statistique est alors
une suite de 𝑛 couples des valeurs prises par les deux variables sur chaque
individu. Cela peut se présenter comme suit :

𝑋 𝑥1 𝑥2 𝑥3 … 𝑥𝑛
𝑌 𝑦1 𝑦2 𝑦3 … 𝑦𝑛

Chacune des deux variables peut être soit quantitative, soit qualitative.

Par exemple lorsqu’on mesure le poids (X) et la taille (Y) de 20 individus, les
informations obtenues peuvent être présentées sous forme de séries statistiques
comme suit :
i 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
X 60 61 64 67 68 69 70 70 72 73 75 76 78 80 85 90 96 96 98 101
Y 155 162 157 170 164 162 169 170 178 173 180 175 173 175 179 175 180 185 189 187

1.2. Tendance centrale et de dispersion d’une série

1.2.1. La moyenne
𝑛
1
𝑥̅ = ∑ 𝑥𝑖 (1.1)
𝑛
𝑖=1

1.2.2. La variance:
𝑛
1
𝑆𝑥2 = ∑(𝑥𝑖 − 𝑥̅ )2 (1.2𝑎)
𝑛
𝑖=1

1.2.3. L’écart-type

𝑛
1
𝑆𝑥 = √ ∑(𝑥𝑖 − 𝑥̅ )2 = √𝑆 2 (1.2𝑏)
𝑛
𝑖=1

7
1.2.4. Covariance (de deux séries)
𝑛
1
𝑆𝑥𝑦 = ∑(𝑥𝑖 − 𝑥̅ )(𝑦𝑖 − 𝑦̅) (1.2𝑐)
𝑛
𝑖=1

Notons qu’en développant cette expression, on retrouve une nouvelle expression

de la covariance :
𝑛
1
𝑆𝑥𝑦 = ∑(𝑥𝑖 𝑦𝑖 ) − 𝑥̅ 𝑦̅ (1.2𝑑)
𝑛
𝑖=1

A travers cette expression, on peut donner l’expression développée de la variance

𝑆𝑥2 . En effet :
𝑛
1
𝑆𝑥2 = 𝑆𝑥𝑥 = ∑(𝑥𝑖 𝑥𝑖 ) − 𝑥̅ 𝑥̅
𝑛
𝑖=1

𝑛
1
𝑆𝑥2 = ∑ 𝑥𝑖2 − 𝑥̅ 2 (1.2𝑒)
𝑛
𝑖=1

1.2.5. Le coefficient de corrélation linéaire (entre deux séries)

Le coefficient de corrélation linéaire mesure le degré de dépendance linéaire
entre deux variables. Il est égal à la covariance des deux variables divisée par le
produit leur écart-type :

𝑆𝑥𝑦
𝑟𝑥𝑦 = (1.3)
𝑆𝑥 𝑆𝑦

Le coefficient est compris entre -1 et 1. Pour le cas de deux variables

indépendantes la corrélation est égale à 0.

1.2.6. Le coefficient de détermination

Le coefficient de détermination est le carré du coefficient de corrélation. C’est le
carré de la covariance divisée par le produit des variances
2
2
𝑆𝑥𝑦
𝑅𝑥𝑦 = (1.4)
𝑆𝑥2 𝑆𝑦2

Le coefficient de détermination est compris entre 0 et 1.

8
1.3. Quelques rappels sur l’opérateur d’espérance E(.)
1.3.1 Définition et propriétés de l’opérateur d’espérance
De façon simple, l’espérance d’une variable correspond à la moyenne de cette
variable lorsque n est grand. Elle se calcule par la formule suivante :
𝑛
1
E(X) = 𝑥̅ = ∑ 𝑥𝑖 (1.5)
𝑛
𝑖=1

Dans certains cas, au lieu d’utiliser 𝑥̅ , on utilise E(X). Par exemple, pour calculer
la variance, on écrit :
𝑛
1 2
VAR(X) = ∑(𝑥𝑖 − E(X))
𝑛
𝑖=1

1
De plus, sachant que VAR(X) = ∑𝑛𝑖=1 𝑥𝑖2 − 𝑥̅ 2 , on peut réécrire cette expression
𝑛
comme suit :

2
VAR(X) = E(X 2 ) − (E(X)) (1.6)

Avec
𝑛
1
E(X 2)
= ∑ 𝑥𝑖2
𝑛
𝑖=1

Cette formulation de la variance s’avère d’une importance capitale dans beaucoup

de démonstrations. Elle peut se généraliser quelle que soit la variable considérée.
Soit une variable 𝑍 telle que 𝑍 = 𝑋𝑌, on a :
𝑛
1
E(Z) = E(𝑋𝑌) = ∑ 𝑥𝑖 𝑦𝑖
𝑛
𝑖=1
𝑛
1 2
VAR(Z) = ∑(𝑥𝑖 𝑦𝑖 − E(Z))
𝑛
𝑖=1
Or on sait que :
𝑛
1 2
VAR(Z) = ∑(𝑥𝑖 𝑦𝑖 )2 − (E(Z))
𝑛
𝑖=1
Par conséquent :
2
VAR(Z) = E(Z 2 ) − (E(Z))

Ainsi de façon explicite, on peut écrire :

9
 2
VAR(XY) = E(X 2 Y 2 ) − (E(XY))

Et lorsque les deux variables 𝑋 et 𝑌 sont indépendantes alors E(XY) = E(X) ∗ E(Y).
Ainsi, on a :
2
VAR(XY) = E(X 2 Y 2 ) − (E(X)E(Y)) (1.7)

On peut élargir ce type de raisonnement au cas de la covariance entre 𝑋 et 𝑌. En

effet,
𝑛 𝑛
1 1
COV(X, Y) = ∑(𝑥𝑖 − E(X))(𝑦𝑖 − E(Y)) = ∑(𝑥𝑖 𝑦𝑖 ) − E(X)E(Y)
𝑛 𝑛
𝑖=1 𝑖=1

COV(X, Y) = E(XY) − E(X)E(Y) (1.8)

Si les deux variables sont indépendantes E(XY) = E(X)E(Y), Par conséquent

COV(X, Y) = 0

Aussi, la formule de la covariance peut être généralisée quelle que soit la

puissance de 𝑋 et de 𝑌. On a :

COV(X 𝑟 , Y 𝑟 ) = E(X 𝑟 Y 𝑟 ) − E(X 𝑟 )E(Y 𝑟 ) (1.9)

Exemple :
COV(X 2 , Y 2 ) = E(X 2 Y 2 ) − E(X 2 )E(Y 2 )

1.3.2. Quelques utilisations de l’opérateur d’espérance 𝑬(. )

1.3.2.1. Calcul de l’espérance dans le cas de la somme ou du produit de
deux variables aléatoires

- Espérance d’une somme E(X + Y):

𝐸(𝑋 + 𝑌) = 𝐸(𝑋) + 𝐸(𝑌) (1.10)

- Espérance d’un produit E(XY):

On sait que :

COV(𝑋, Y) = E(XY) − E(Y)E(Y) 

E(XY) + COV(𝑋, Y) + E(Y)E(Y) (1.11𝑎)

Si les deux variables sont indépendantes COV(𝑋, Y) = 0 . Ainsi, on a :

E(XY) = E(X)E(Y) (1.11𝑏)

10
L'espérance du produit de 2 variables aléatoires indépendantes est le produit des
espérances.

1.3.2.2. Calcul de la variance dans le cas de la somme ou du produit de

deux variables aléatoires

- Variance d’une somme VAR(X + Y):

𝑉𝐴𝑅(𝑋 + 𝑌) = 𝐸((𝑋 + 𝑌)2 ) − [𝐸(𝑋 + 𝑌)]2

= 𝐸(X 2 + Y 2 + 2𝑋𝑌) − [𝐸(𝑋) + 𝐸(𝑌)]2

= 𝐸(X 2 ) + 𝐸(Y 2 ) + 2𝐸(𝑋𝑌) − [𝐸(𝑋)]2 − [𝐸(𝑌)]2 − 2𝐸(𝑋)𝐸(𝑌)

= 𝐸(X 2 ) − [𝐸(𝑋)]2 + 𝐸(Y 2 ) − [𝐸(𝑌)]2 + 2[𝐸(𝑋𝑌) − 𝐸(𝑋)𝐸(𝑌)]

𝑉𝐴𝑅(𝑋) + 𝑉𝐴𝑅(𝑌) + 2COV(X, Y)

𝑉𝐴𝑅(𝑋 + 𝑌) = 𝑉𝐴𝑅(𝑋) + 𝑉𝐴𝑅(𝑌) + 2COV(X, Y) (1.12)

Si les deux variables sont indépendantes, on a 2COV(X, Y) = 0 ainsi on a:

𝑉𝐴𝑅(𝑋 + 𝑌) = 𝑉𝐴𝑅(𝑋) + 𝑉𝐴𝑅(𝑌)

- Variance d’un produit VAR(XY):

VAR(XY) = E(X 2 Y 2 ) − [E(XY)]2

Or COV(𝑋, Y) = E(XY) − E(X)E(Y) 

E(XY) = COV(𝑋, Y) + E(X)E(Y)

COV(X 2 , Y 2 ) = E(X 2 Y 2 ) − E(X 2 )E(Y 2 ) 

E(X 2 Y 2 ) = COV(X 2 , Y 2 ) + E(X 2 )E(Y 2 )

2
Ainsi, on a : VAR(XY) = COV(X 2 , Y 2 ) + E(X 2 )E(Y 2 ) − [𝐶𝑂𝑉(𝑋, 𝑌) + E(X)[E(Y)]]

On sait que : E(X 2 ) = VAR(X) + [E(X)]2 et E(Y 2 ) = VAR(Y) + [E(Y)]2

Ainsi : VAR(XY) = COV(X 2 , Y 2 ) + [ VAR(X) + [E(X)]2 ]. [ VAR(Y)+[E(Y)]2 ] −

2
[𝐶𝑂𝑉(𝑋, 𝑌) + E(X)[E(Y)]] (1.13𝑎)

A noter que dans le cas de l’indépendance:

COV(X 2 , Y 2 ) = COV(X, Y) = 0

Ce qui permet donc de réduire la formule à:

2
VAR(XY) = [ VAR(X) + [E(X)]2 ]. [ VAR(Y)+[E(Y)]2 ] − [E(X)[E(Y)]]

11
Ainsi, en développant cette expression, on retrouve la formule initiale

VAR(XY) = VAR(X)VAR(Y) + VAR(X)[E(Y)]2 + VAR(Y)[E(X)]2 (1.13𝑏)

1.3.2.3. Autres formules particulières

VAR(aX + b) = a²VAR(X)

COV(aX; Y) = aCOV(X; Y)

1.4. Rappel sur les lois statistiques usuelles

1.4.1. La loi normale et le théorème central limite
Soit 𝑋 une variable aléatoire suivant une loi normale de moyenne 𝜇 et de
1
variance 𝜎 2 . En considérant la variable aléatoire 𝑋̅ telle que 𝑋̅ = ∑𝑛𝑖=1 𝑋𝑖 , cette la
𝑛
𝜎2
variable suit également une loi normale de moyenne 𝜇 mais de variance . Ainsi
𝑛
𝜎2
en centrant cette variable par 𝜇 et réduisant par la racine carrée de , on obtient
𝑛
une variable aléatoire 𝑍 suivant une loi normale de moyenne zéro et de variance
égale à 1. Ce qui se présente comme suit :

𝑋̅ − 𝜇
𝑍= ↝ 𝑁(0,1) (1.14)
2
√𝜎
𝑛

Cette propriété dénommée théorème centrale limite se résume alors comme suit :
𝑛
1 𝜎2 𝑋̅ − 𝜇
2) ̅
𝑋 ↝ 𝑁(𝜇, 𝜎  𝑋 = ∑ 𝑋𝑖 ↝ 𝑁 (𝜇, )  𝑍 = 𝜎 ↝ 𝑁(0,1)
𝑛 𝑛
𝑖=1
√𝑛

1.4.2. La loi de khi-deux

Soit 𝑋1 , … , 𝑋𝑝 une suite de variables aléatoires indépendantes normales, centrées
réduites (c’est à dire de moyenne nulle et de variance égale à 1), alors la variable
aléatoire :𝜒𝑝2 est définie comme la somme des carrées de la variable X. Ainsi, on
a:
𝑝

𝜒𝑝2 = ∑ 𝑋𝑖2 (1.15)

𝑖=1

suit une loi de khi-2 à p degrés de liberté.

Ainsi avec cette variable, on peut montrer que :

𝐸(𝜒𝑝2 ) = 𝑝

12
 𝑉𝐴𝑅(𝜒𝑝2 ) = 2𝑝

1.4.3. La loi de Student

La loi de Student est définie à partir du rapport entre une variable normale
centrée réduite et une loi de khi-deux à p degrés de liberté. Elle est traduite
comme suit :

𝑋
𝑡𝑝 = (1.16)
2
√𝜒𝑝⁄𝑝

1.4.4. La loi de Fisher

La loi de Fisher est définie à partir du rapport entre deux variables
indépendantes suivant chacune une loi de khi-deux respectivement à p et q
degrés de liberté. Elle est traduite comme suit :

𝜒𝑝2
⁄𝑝
𝐹𝑝,𝑞 = 2 (1.17)
𝜒𝑞
⁄𝑞

NB : Il est facile de montrer que le carré d’une variable de Student à q degrés de

liberté est une variable de Fisher à 1 et q degrés de liberté.

1.5. Rappel sur les tests d’hypothèses

1.5.1. Forme générale d’un test d’hypothèse
1.5.1.1. Tests d’hypothèses simples

Le test d’hypothèse consiste à énoncer deux hypothèses sur un paramètre 𝜃, dont

une seule est vraie. Par exemple, on peut tester

-l’hypothèse nulle H0 que 𝜃 = 𝜃0 ,

-l’hypothèse alternative H1 que 𝜃 = 𝜃1 .

L’objectif est de prendre une décision sur H0 qui consistera à rejeter H0 ou à ne

pas rejeter H0. La décision est prise sur base des données observées, et peut donc
conduire à deux types d’erreurs :

• Rejeter H0 alors que H0 est vraie, cette erreur est appelée erreur de première
espèce. Elle est notée 𝛼. A noter que 1- 𝛼 représente le seuil de confiance.

13
• Ne pas rejeter H0 alors que H0 est fausse, cette erreur est appelée erreur de
deuxième espèce. Elle est notée 𝛽 avec 1- 𝛽 qui représente alors la puissance du
test.

H0 est vraie H0 est fausse

Rejeter H0 𝛼 1- 𝛽

Ne pas rejeter H0 1−𝛼 𝛽

1.5.1.2. Tests d’hypothèses composites

Dans la pratique, les tests sont généralement des tests composites. En effet, les
hypothèses sont généralement du type “Le paramètre 𝜃 est-il strictement plus
grand qu’une certaine valeur 𝜃0 ?” Ce type d’hypothèse composite amène à la
construction de test du type :

𝐻0 𝜃 = 𝜃0 𝐻 𝜃 = 𝜃0 𝐻 𝜃 = 𝜃0 𝐻 𝜃 ≥ 𝜃0 𝐻0 𝜃 ≤ 𝜃0
1{ 2{ 0 3{ 0 4{ 0 5{
𝐻1 𝜃 ≠ 𝜃0 𝐻1 𝜃 < 𝜃0 𝐻1 𝜃 > 𝜃0 𝐻1 𝜃 < 𝜃0 𝐻1 𝜃 > 𝜃0

L’égalité doit toujours apparaître dans l’hypothèse nulle. Si la question est : “ 𝜃

est-il strictement plus grand que 𝜃0 ?” On posera l’hypothèse alternative :

H1 : 𝜃 ≥ 𝜃0 et donc H0 : 𝜃 ≤ 𝜃0 .

1.5.1.3. Test de comparaison à une valeur théorique

Soit X une variable aléatoire suivant une loi normale de moyenne m et de

variance 𝜎 2 . On montre d’abord que si 𝑋 ↝ 𝑁(𝑚, 𝜎 2 ) alors :
𝑛
1 𝜎2
̅
𝑋 = ∑ 𝑋𝑖 ↝ 𝑁 (𝑚, )
𝑛 𝑛
𝑖=1

Ainsi avec le théorème central limite, on a

𝑋̅ −𝑚
𝑍= 𝜎 ↝ 𝑁(0,1).
√𝑛

Cependant lorsque la variance 𝜎 2 n’est pas connue, on utilise l’expression de la

1
variance estimée telle que : 𝜎̂ 2 = ∑𝑛𝑖=1(𝑋𝑖 − 𝑋̅)2 . Mais sachant que la variance
𝑛−1
estimée est la somme des carrés d’une loi normale, alors elle est distribuée selon
une loi de 𝜒 2 à n-1 degrés de libertés. Ainsi en appliquant le théorème central
limite, on trouve :

14
 𝑋̅ − 𝑚
𝑇= ↝ 𝑡(𝑛 − 1) (1.18)
𝜎̂
√𝑛 − 1

Cette propriété montre bien que la connaissance de la variance a donc une

implication importante dans la conduite des tests d’hypothèse.

1.5.1.4. Détermination de la P-value d’un test

La P-value est la probabilité correspondant à la statistique 𝑍, T, 𝜒𝑝2 ou F obtenue

dans la construction du test. En prenant le cas d’une statistique qui suit une loi
normale, la pvalue correspond à la probabilité à Z lue dans la table de la loi
normale. Elle se définit comme la probabilité d’obtenir une statistique 𝑧 qui soit
supérieure à la statistique calculée 𝑍 :

𝑃𝑣𝑎𝑙𝑢𝑒 = 𝑃(𝑧 ≥ 𝑍)

𝑃𝑣𝑎𝑙𝑢𝑒 = 1 − 𝑃(𝑧 < 𝑍)

Ainsi pour obtenir la pvalue, on lit d’abord dans la table de la loi normale la
probabilité 𝑃(𝑧 < 𝑍). Ensuite, on calcule la pvalue.

La pvalue fournit aussi une règle décision dans le test. En effet, lorsque la pvalue
est inférieure au seuil 𝛼, on rejette H0. Mais lorsque la pvalue est supérieure au
seuil 𝛼 on ne peut pas rejeter H0.

1.5.2. Test bilatéral

Soit X une variable aléatoire suivant une loi normale de moyenne m et de
variance 𝜎 2 . On souhaite tester l’hypothèse suivante :

𝐻0 𝜇 = 𝑚
{
𝐻1 𝜇 ≠ 𝑚

1.5.2.1. Cas où la variance 𝝈𝟐 est connue :

Lorsque 𝜎 2 est connue, avec le théorème central limite, on peut poser :

𝑋̅ − 𝑚
𝑍= 𝜎 ↝ 𝑁(0,1)
√𝑛

En fixant le seuil de première espèce 𝛼, la statistique de ce test se présente

comme suit (compte tenu du caractère bilatéral) :

15
 𝑋̅ − 𝑚 ∗ 𝑋̅ − 𝑚 ∗
𝑃( 𝜎 < −𝑍1−
𝛼 ) + 𝑃 ( 𝜎 > 𝑍1− 𝛼) = 𝛼
2 2
√𝑛 √𝑛

∗ ∗
𝑃 (𝑍 < −𝑍1− 𝛼 ) + 𝑃 (Z > 𝑍 𝛼 ) = 𝛼
1−
2 2

𝛼 ) (propriété d’une loi symétrique),

∗ ∗
Mais sachant que 𝑃 (𝑍 < −𝑍1− 𝛼 ) = 𝑃 (𝑍 > 𝑍
1−
2 2

on a :

∗
2 𝑃 (Z > 𝑍1− 𝛼) = 𝛼
2

𝛼 le quantile d’ordre 1 − 𝛼 de la loi

∗
Où 𝑍 est la statistique du test calculée et 𝑍1−
2
normale centrée réduite (lue dans la table de loi normale centrée réduite).

∗ ∗
Par ailleurs sachant que 𝑃 (𝑍 < −𝑍1− 𝛼 ) + 𝑃 (Z > 𝑍
1−
𝛼 ) = 𝛼, cela signifie que :
2 2

∗ ∗
𝑃 (−𝑍1− 𝛼 < 𝑍 < 𝑍 𝛼) = 1 − 𝛼
1−
2 2

∗
𝑃 (|𝑍| < 𝑍1− 𝛼) = 1 − 𝛼
2

Dès lors on peut utiliser l’une des deux expressions pour prendre la décision du
𝛼 ) = 𝛼 qui exprime le seuil d’erreur ou 𝑃 (|𝑍| < 𝑍
∗ ∗
test : soit 2 𝑃 (Z > 𝑍1− 1−
𝛼) = 1 − 𝛼
2 2

qui exprime le seuil de confiance. Dans l’un ou l’autre des cas, on compare la
∗
valeur Z calculée à la valeur de 𝑍1− 𝛼 lue dans la table de la loi normale. Ainsi
2

lorsque 𝑍 > ∗
𝑍1− 𝛼, on rejette l’hypothèse H0. En revanche lorsque 𝑍 < 𝑍1−𝛼
∗
, on ne
2

peut pas rejeter H0.

La région critique de ce test (encore appelée région de rejet de H0) se définit telle
que :

𝑋̅ − 𝑚 ∗ 𝑋̅ − 𝑚 ∗ ∗
𝑅𝐶 = {| 𝜎 | > 𝑍1−
𝛼 } 𝑠𝑜𝑖𝑡 𝜎  [−𝑍1− 𝛼 ; 𝑍 𝛼]
1−
2 2 2
√𝑛 √𝑛

Ou
𝜎 𝜎 𝜎
𝑅𝐶 = {|𝑋̅ − 𝑚| > 𝑍1−
∗
𝛼 } 𝑠𝑜𝑖𝑡 𝑋̅  ]𝑚 − 𝑍1−
∗
𝛼
∗
; m + 𝑍1− 𝛼 ]
2 √𝑛 2 √𝑛 2 √𝑛

16
Connaissant donc la région critique, on peut définir la région d’acceptation de H0
𝑋̅ −𝑚
𝛼 ) = 1 − 𝛼 . Dès lors, la région d’acceptation se définit
∗
sachant que (| 𝜎 | < 𝑍1−
√𝑛 2

comme suit.

∗
𝑋̅ − 𝑚 ∗
𝑅𝐴 = {−𝑍1−𝛼 < 𝜎 < 𝑍1−𝛼 }
2
√𝑛

Ou
𝜎 𝜎
∗
𝑅𝐴 = {m − 𝑍1− 𝛼 < 𝑋̅ < m + 𝑍1−
∗
𝛼 }
2 √𝑛 2 √𝑛

Ainsi connaissant la région de rejet ou la région d’acceptation, on peut donner

une autre règle de décision par rapport au test. En effet après avoir calculée la
moyenne 𝑋̅ sur l’échantillon, on regarde si sa valeur appartient ou pas à la région
d’acception. Ainsi si 𝑋̅ appartient à l’intervalle RA, on ne peut pas rejeter H0. Par
contre si 𝑋̅ appartient de RC, on rejette H0.

1.5.2.2. Cas où la variance 𝝈𝟐 n’est pas connue

Lorsque la variance 𝜎 2 n’est pas connue, on utilise la variance estimée telle que :
1
𝜎̂ 2 = ∑𝑛𝑖=1(𝑋𝑖 − 𝑋̅)2 . Dès lors, en appliquant le théorème central limite on
𝑛−1
trouve une loi de Student qui se présente comme suit :

𝑋̅ − 𝑚
↝ 𝑡(𝑛 − 1)
𝜎̂
√𝑛 − 1

Dans cette configuration, en fixant le seuil de première espèce 𝛼, la statistique du

test se présente comme suit (compte tenu au du caractère bilatéral) :

𝑋̅ − 𝑚 ∗ 𝑋̅ − 𝑚 ∗
𝑃( < −𝑇1−𝛼) + 𝑃 ( > 𝑇1− 𝛼) = 𝛼
𝜎̂ 2 𝜎̂ 2
√𝑛 − 1 √𝑛 − 1

∗ ∗
𝑃 (𝑇 < −𝑇1−𝛼 ) + 𝑃 (𝑇 > 𝑇 𝛼 ) = 𝛼
1−
2 2

𝛼 ) = 𝑃 (𝑇 > 𝑇 𝛼 ) (propriété d’une loi symétrique),

∗ ∗
Mais sachant que 𝑃 (𝑇 < −𝑇1− 1−
2 2
on a :

∗
2 𝑃 (𝑇 > 𝑇1− 𝛼) = 𝛼
2

17
 𝛼 le quantile d’ordre 1 − 𝛼 de la loi
∗
Où 𝑇 est la statistique du test calculée et 𝑇1−
2

normale centrée réduite (lue dans la table de loi normale centrée réduite).

∗ ∗
Par ailleurs sachant que 𝑃 (𝑇 < −𝑇1− 𝛼 ) + 𝑃 (𝑇 > 𝑇 𝛼 ) = 𝛼, cela signifie que :
1−
2 2

∗ ∗
𝑃 (−𝑇1−𝛼 < 𝑇 < 𝑇 𝛼) = 1 − 𝛼
1−
2 2

∗
𝑃 (|𝑇| < 𝑇1− 𝛼) = 1 − 𝛼
2

Dès lors on peut utiliser l’une des deux expressions pour prendre la décision du
𝛼 ) = 𝛼 qui exprime le seuil d’erreur ou 𝑃 (|𝑇| < 𝑇 𝛼 ) = 1 − 𝛼
∗ ∗
test : soit 2 𝑃 (𝑇 > 𝑇1− 1−
2 2

qui exprime le seuil de confiance. Dans l’un ou l’autre des cas, on compare la
∗
valeur 𝑇 calculée à la valeur de 𝑇1− 𝛼 lue dans la table de la loi normale. Ainsi
2

𝛼 , on rejette l’hypothèse H0. En revanche lorsque 𝑇 < 𝑇1−𝛼 , on ne

∗ ∗
lorsque 𝑇 > 𝑇1−
2
peut pas rejeter H0.

La région critique de ce test (encore appelée région de rejet de H0) se définit telle
que :

𝑋̅ − 𝑚 ∗ 𝑋̅ − 𝑚 ∗ ∗
𝑅𝐶 = {| | > 𝑇1− 𝛼 } 𝑠𝑜𝑖𝑡  [−𝑇1− 𝛼 ; 𝑇 𝛼]
𝜎̂ 2 𝜎
̂ 2
1−
2
√𝑛 − 1 √𝑛 − 1

Ou

𝜎̂ 𝜎̂ 𝜎̂
𝑅𝐶 = {|𝑋̅ − 𝑚| > 𝑇1−
∗
𝛼 } 𝑠𝑜𝑖𝑡 𝑋̅  ]𝑚 − 𝑇1−
∗
𝛼
∗
; m + 𝑇1− 𝛼 ]
2 √𝑛 − 1 2 √𝑛 − 1 2 √𝑛 − 1

Connaissant donc la région critique, on peut définir la région d’acceptation de H0

𝑋̅ −𝑚
𝛼 ) = 1 − 𝛼 . Dès lors, la région d’acceptation se définit
∗
sachant que (| ̂
𝜎 | < 𝑇1−
2
√𝑛−1

comme suit.

∗
𝑋̅ − 𝑚 ∗
𝑅𝐴 = {−𝑇1−𝛼 < < 𝑇1− 𝛼}
𝜎̂ 2
√𝑛 − 1

Ou

18
 𝜎̂ 𝜎̂
∗
𝑅𝐴 = {m − 𝑇1− 𝛼 < 𝑋̅ < m + 𝑇1−
∗
𝛼 }
2 √𝑛 − 1 2 √𝑛 − 1

1.5.3. Test unilatéral (à droite)

𝐻0 𝜇 = 𝑚
{
𝐻1 𝜇 > 𝑚

1.5.3.1. Cas où la variance 𝝈𝟐 est connue

Lorsque la variance est connue la statistique du test sous 𝐻0 suit une loi normale
𝑁(0,1). Ainsi connaissant le seuil d’erreur 𝛼 on définit la région critique telle
que :

𝑋̅ − 𝑚 ∗
𝑃( 𝜎 > 𝑍1−𝛼 ) = 𝛼
√𝑛
∗ )
𝑃(𝑍 > 𝑍1−𝛼 =𝛼
∗
Où 𝑍 est la statistique du test calculée et 𝑍1−𝛼 le quantile d’ordre 1 − 𝛼 de la loi
normale centrée réduite (lue dans la table de loi normale centrée réduite).
∗
Ainsi lorsque 𝑍 > 𝑍1−𝛼 , on rejette l’hypothèse H0. En revanche lorsque 𝑍 < 𝑍1−𝛼
∗
,
on ne peut pas rejeter H0.

La région critique de ce test (encore appelée région de rejet de H0) se définit alors
comme suit :

𝑋̅ − 𝑚 ∗
𝑅𝐶 = { 𝜎 > 𝑍1−𝛼 }
√𝑛

Ou
𝜎
𝑅𝐶 = {𝑋̅ > m + 𝑍1−𝛼
∗
}
√𝑛

Connaissant donc la région critique, on peut définir la région d’acceptation de H0

𝑋̅ −𝑚
sachant que ( 𝜎
∗
< 𝑍1−𝛼 ) = 1 − 𝛼 . Dès lors, la région d’acceptation se définit
√𝑛

comme suit.

𝑋̅ − 𝑚 ∗
𝑋̅ − 𝑚 ∗ ]
𝑅𝐴 = { 𝜎 < 𝑍1−𝛼 } 𝑠𝑜𝑖𝑡 𝜎 ∈ ]−∞ ; 𝑍1−𝛼
√𝑛 √𝑛

19
 Ou
𝜎 𝜎
𝑅𝐴 = {𝑋̅ < m + 𝑍1−𝛼
∗
} 𝑠𝑜𝑖𝑡 𝑋̅ ∈ ]−∞ ; m + 𝑍1−𝛼
∗
]
√𝑛 √𝑛

Détermination de la P-value du test :

La pvalue de ce test se détermine en calculant la probabilité 1 − 𝑃(𝑧 < 𝑍) où

𝑃(𝑧 < 𝑍) est la probabilité correspondant à 𝑍 dans la table de la loi normale.

1.5.3.2. Cas où la variance 𝝈𝟐 n’est pas connue :

Lorsque 𝜎 2 n’est pas connue, on a :

𝑋̅ − 𝑚
↝ 𝑇(𝑛 − 1)
𝜎̂
√𝑛 − 1

Ainsi connaissant le seuil d’erreur 𝛼 on définit la région critique du test telle

que :

𝑋̅ − 𝑚 ∗
𝑃( > 𝑇1−𝛼 )=𝛼
𝜎̂
√𝑛 − 1
∗ )
𝑃(𝑇 > 𝑇1−𝛼 =𝛼
∗
Où 𝑇 est la statistique du test calculée et 𝑇1−𝛼 le quantile d’ordre 1 − 𝛼 de la loi
de la loi de Student.
∗
Ainsi lorsque 𝑇 > 𝑇1−𝛼 , on rejette l’hypothèse H0. Et lorsque 𝑇 < 𝑇1−𝛼
∗
, on ne peut
pas rejeter H0.

La région critique du test se définit comme suit :

𝑋̅ − 𝑚 ∗
𝑅𝐶 = { > 𝑇1−𝛼 }
𝜎̂
√𝑛 − 1

Ou

𝜎̂
𝑅𝐶 = {𝑋̅ > m + 𝑇1−𝛼
∗
}
√𝑛 − 1

Connaissant donc la région critique, on peut définir la région d’acceptation de H0

𝑋̅ −𝑚
sachant que ( 𝜎̂
∗
< 𝑇1−𝛼 ) = 1 − 𝛼 . Dès lors, la région d’acceptation se définit
√𝑛−1

comme suit.
20
 𝑋̅ − 𝑚 ∗
𝑋̅ − 𝑚 ∗ ]
𝑅𝐴 = { < 𝑇1−𝛼 } 𝑠𝑜𝑖𝑡 ∈ ]−∞ ; 𝑇1−𝛼
𝜎̂ 𝜎̂
√𝑛 − 1 √𝑛 − 1

Ou

𝜎̂ 𝜎̂
𝑅𝐴 = {𝑋̅ < m + 𝑇1−𝛼
∗
} 𝑠𝑜𝑖𝑡 𝑋̅ ∈ ]−∞ ; m + 𝑇1−𝛼
∗
]
√𝑛 − 1 √𝑛 − 1

Détermination de la P-value du test :

La pvalue de ce test se détermine en calculant la probabilité 1 − 𝑃(𝑡 < 𝑇) où 𝑃(𝑡 <

𝑇) est la probabilité correspondant à 𝑡 dans la table de la loi normale.

1.5.4. Test unilatéral (à gauche)

𝐻0 𝜇 = 𝑚
{
𝐻1 𝜇 < 𝑚

1.5.4.1. Cas où la variance 𝝈𝟐 est connue

Lorsque la variance est connue la statistique du test sous 𝐻0 suit une loi normale
𝑁(0,1). Ainsi connaissant le seuil d’erreur 𝛼 on définit la région critique telle
que :

𝑋̅ − 𝑚 ∗
𝑃( 𝜎 < −𝑍1−𝛼 ) = 𝛼
√𝑛
∗ )
𝑃(𝑍 < −𝑍1−𝛼 =𝛼
∗
Où 𝑍 est la statistique du test calculée et 𝑍1−𝛼 le quantile d’ordre 1 − 𝛼 de la loi
normale centrée réduite. Ainsi lorsque 𝑍 < 𝑍1−𝛼 , on rejette l’hypothèse H0. Et
∗
∗
lorsque 𝑍 > 𝑍1−𝛼 , on ne peut pas rejeter H0.

La région critique du test se définit alors comme suit :

𝑋̅ − 𝑚 ∗
𝑅𝐶 = { 𝜎 < −𝑍1−𝛼 }
√𝑛

Ou
𝜎
𝑅𝐶 = {𝑋̅ < m − 𝑍1−𝛼
∗
}
√𝑛

21
 𝑋̅ −𝑚
Sachant que ( 𝜎
∗
> −𝑍1−𝛼 ) = 1 − 𝛼 , on peut définir la région d’acceptation de
√𝑛

H0 comme suit.

𝑋̅ − 𝑚 ∗
𝑋̅ − 𝑚 ∗
𝑅𝐴 = { 𝜎 > −𝑍1−𝛼 } 𝑠𝑜𝑖𝑡 𝜎 ∈ ]−𝑍1−𝛼 ; +∞]
√𝑛 √𝑛

Ou
𝜎 𝜎
𝑅𝐴 = {𝑋̅ > m − 𝑍1−𝛼
∗
} 𝑠𝑜𝑖𝑡 𝑋̅ ∈ ]m − 𝑍1−𝛼
∗
; +∞]
√𝑛 √𝑛

Détermination de la P-value du test :

La pvalue de ce test se détermine en calculant la probabilité 1 − 𝑃(𝑧 < 𝑍) où

𝑃(𝑧 < 𝑍) est la probabilité correspondant à 𝑍 dans la table de la loi normale.

1.5.4.2. Cas où la variance 𝝈𝟐 n’est pas connue

𝑋̅ −𝑚
Lorsque 𝜎 2 n’est pas connue, sachant que 𝜎̂ ↝ 𝑇(𝑛 − 1) et connaissant le
√𝑛−1

seuil d’erreur 𝛼 on définit la région critique du test telle que :

𝑋̅ − 𝑚 ∗
𝑃( < −𝑇1−𝛼 )=𝛼
𝜎̂
√𝑛 − 1
∗ )
𝑃(𝑇 < −𝑇1−𝛼 =𝛼
∗
Où 𝑇 est la statistique du test calculée et 𝑇1−𝛼 le quantile d’ordre 1 − 𝛼 de la loi
de la loi de Student.
∗
Ainsi lorsque 𝑇 < −𝑇1−𝛼 , on rejette l’hypothèse H0. Et lorsque 𝑇 > −𝑇1−𝛼
∗
, on ne
peut pas rejeter H0.

La région critique du test se définit comme suit :

𝑋̅ − 𝑚 ∗
𝑅𝐶 = { < −𝑇1−𝛼 }
𝜎̂
√𝑛 − 1

Ou

𝜎̂
𝑅𝐶 = {𝑋̅ < m − 𝑇1−𝛼
∗
}
√𝑛 − 1

22
Connaissant donc la région critique, on peut définir la région d’acceptation de H0
𝑋̅ −𝑚
sachant que ( 𝜎̂
∗
> −𝑇1−𝛼 ) = 1 − 𝛼 . Dès lors, la région d’acceptation se définit
√𝑛−1

comme suit.

𝑋̅ − 𝑚 ∗
𝑋̅ − 𝑚 ∗
𝑅𝐴 = { > −𝑇1−𝛼 } 𝑠𝑜𝑖𝑡 ∈ ]−𝑇1−𝛼 ; +∞ ]
𝜎̂ 𝜎̂
√𝑛 − 1 √𝑛 − 1

Ou

𝜎̂ 𝜎̂
𝑅𝐴 = {𝑋̅ > m − 𝑇1−𝛼
∗
} 𝑠𝑜𝑖𝑡 𝑋̅ ∈ ]m − 𝑇1−𝛼
∗
; +∞]
√𝑛 − 1 √𝑛 − 1

Détermination de la P-value du test :

La pvalue de ce test se détermine en calculant la probabilité 1 − 𝑃(𝑡 < 𝑇) où 𝑃(𝑡 <

𝑇) est la probabilité correspondant à 𝑡 dans la table de la loi normale.

1.6. Les règles d’utilisation des tables statistiques

usuelles
1.6.1. Utilisation de la table de la loi normale centrée réduite
La table de la loi normale centrée réduite présente sur la première ligne et la
première colonne les valeurs des fractiles 𝑍 (encore appelés quantiles). Dans la
première colonne, on lit la valeur du quantile 𝑍 à un décimal près. Et sur la
première ligne, on lit le nombre de décimaux restants à 10-2 près. Ainsi c’est en
faisant la somme d’un élément en colonne et d’un élément en ligne qu’on obtient
la valeur de 𝑍. Par exemple 𝑍 = 1.96 s’obtient en faisant 1,9+0,06 où 1,9 provient
de la première colonne alors que 0,06 provient de la première ligne. Ainsi pour
trouver la valeur de n’importe quel fractile, on procède à cette décomposition. Par
exemple 𝑍 = 3.37 se lit en décomposant 3.3 (en colonne) et 0,07 (en ligne).
En plus de la première colonne extérieure et la première ligne extérieure (qui
permettent de connaitre la valeur de 𝑍), on se réfère aux cellules intérieures pour
lire les probabilités associées aux fractiles. La probabilité associée à une fractile
correspond à la valeur contenue dans la cellule qui se trouve au croisement des
deux membres qui forment la valeur de la fractile. Par exemple, sachant que 2,47
est formée par 2,4(en ligne) et 0,07 (en colonne), alors, la probabilité
correspondant à 2,47 se trouve au croisement entre 2,4 et 0,07. Cette valeur est
égale à 0,993.
Cette compréhension de la structure de la table de loi normale est extrêmement
importante car elle servira à déterminer les fractiles (lorsque l’on connait les

23
probabilités) ou à l’inverse déterminer les probabilités (lorsque l’on connait les
fractiles).
1.6.1.1 Lecture des fractiles connaissant les probabilités 𝜶

Dans une optique de détermination de la statistique d’un test suivant une loi
normale et dont le seuil d’erreur est 𝛼, on lit le fractile correspondant à 𝛼. Pour
𝛼 𝛼
cela, on calcule d’abord(1 − 𝛼) + c'est-à-dire 1 − .. Ensuite, on recherche cette
2 2
valeur dans les cellules intérieures de la table. Une fois cette valeur identifiée, on
fait la somme des deux cellules extérieures (en ligne et en colonne) dont le
𝛼
croisement correspond à cette valeur 1 − lue dans la table. Par exemple, pour le
2
𝛼
trouver la statistique (le fractile) correspondant à 𝛼 =5 %, on calcule d’abord 1 −
2
(soit 0,975). Ensuite, en recherchant 0,975 dans les cellules intérieures de la
table, on constate que cette valeur se trouve au croisement entre 1,9 et 0.06. Par
conséquent le fractile correspondant à 5% est 1,96.
Notons aussi que cette valeur peut être obtenue avec la plus part des logiciels
statistiques et économétriques plus ou moins spécialisés. Par exemple, certaines
fonctions de MicrosoftTM Excel fournissent les valeurs contenues dans les tables
statistiques usuelles. Pour obtenir le fractile correspondant à au seuil 𝛼, on
utilise la formule suivante :
𝛼
= 𝑙𝑜𝑖. 𝑛𝑜𝑟𝑚𝑎𝑙𝑒. 𝑠𝑡𝑎𝑛𝑑𝑎𝑟𝑑. 𝑖𝑛𝑣𝑒𝑟𝑠𝑒(1 − )
2
Où 𝛼 représente la probabilité (et correspond généralement au seuil d’erreur).

Remarque :

Puisque la loi normale est une loi symétrique, si l’on veut déterminer la valeur
opposée du fractile (en vue par exemple de la détermination d’un intervalle de
confiance (ou autre), on considère juste l’opposé de ce fractile pour trouver la
borne inférieure de l’encadrement.

1.6.1.2. Lecture des probabilités 𝜶 connaissant les fractiles

Lorsque l’on connait le fractile, pour déterminer la probabilité correspondante

par lecture d’une table de la loi normale centrée et réduite, on décompose d’abord
ce fractile en deux éléments (selon la méthode précédemment discutée). Ensuite,
on recherche la cellule intérieure de la table se trouvant au croisement (de la
ligne et de la colonne extérieure) des deux valeurs. Ainsi, après avoir déterminé
𝛼
cette valeur notée 𝑃, on calcule 𝛼 telle que 1 − = 𝑃 soit 𝛼 = 2(1 − 𝑃). Cette
2
valeur 𝛼 correspond donc à la probabilité recherchée. Par exemple, pour trouver
la probabilité correspondant à 1,53, on décompose d’abord cette valeur entre 1,5
et 0,03. En recherchant dans les cellules intérieures de la table la probabilité se

24
trouvant au croisement de ces deux valeurs, on trouve 0,937. Ainsi puisque cette
𝛼
valeur équivaut à 1 − , on peut alors en déduire 𝛼 comme 𝛼 = 2(1 − 0,937). Soit
2
𝛼 = 0,126 = 12,6%

Notons aussi que valeur de la probabilité peut s’obtenir en utilisant également

les fonctions de Microsoft Excel. Pour cela, on peut utiliser la formule suivante :

= 𝑙𝑜𝑖. 𝑛𝑜𝑟𝑚𝑎𝑙𝑒. 𝑠𝑡𝑎𝑛𝑑𝑎𝑟𝑑. 𝑛(𝑞; 𝑉𝑅𝐴𝐼)

Où 𝑞 représente la valeur du fractile dont on cherche à déterminer la probabilité.

Remarque :

Dans une démarche de test, la valeur de la probabilité ainsi calculée correspond

généralement à la p.value lorsque la détermination de la probabilité porte sur
une statistique de test. En effet dans un test, on connaît à priori le seuil
théorique 𝛼. Ce seuil est utilisé pour lire la statistique théorique (ou seuil
critique) du test. On a alors le couple (𝛼 ; 𝑆 ∗ ). Ensuite en construisant le test et en
calculant la statistique du test sous l’hypothèse nulle, on obtient 𝑆. Ce qui
manque alors c’est la probabilité associée à cette statistique calculée. Elle est
dénommée la p.value 𝑝0 . Dès lors, pour déterminer la p.value afin de former le
couple (𝑝0 ; 𝑆), on lit la probabilité correspondant à 𝑆 dans la table. C’est donc
après avoir définie cette probabilité qu’on forme la règle de décision du test :

 Si 𝑆 > 𝑆 ∗  𝑝0 < 𝛼 alors on rejette H0.

 Si 𝑆 < 𝑆 ∗  𝑝0 > 𝛼 alors on ne peut pas rejeter H0.

1.6.1.2. Lecture de la table de la loi normale dans le cas d’un

encadrement de la fractile

- Cas d’un encadrement de type : 𝑃 (−𝑏 < 𝑍 < 𝑏)

Lorsque le fractile 𝑍 est une valeur encadrée par une borne supérieure b et une
borne inférieure -b, pour lire la probabilité pour que 𝑍 soit compris entre -b et b,
on procède d’abord à un développement comme suit :

𝑃 (−𝑏 < 𝑍 < 𝑏) = 𝑃(𝑍 < 𝑏) − 𝑃(𝑍 < −𝑏)

Or, sachant les propriété d’une loi symétrique, on a: 𝑃(𝑍 < −𝑏) = 𝑃(𝑍 > 𝑏). Mais
on sait aussi que 𝑃(𝑍 > 𝑏) = 1 − 𝑃(𝑍 < 𝑏). Dès lors, on a : 𝑃 (−𝑏 < 𝑍 < 𝑏) =
𝑃(𝑍 < 𝑏) − [ 1 − 𝑃(𝑍 < 𝑏)]. Au final, après développement, on trouve : 𝑃 (−𝑏 <
𝑍 < 𝑏) = 2𝑃(𝑍 < 𝑏) − 1.

25
Cela montre donc que dans une loi symétrique, pour trouver la probabilité d’un
encadrement symétrique (qui correspond en général au seuil de confiance), il faut
simplement multiplier par 2 la probabilité obtenue en considérant uniquement la
borne supérieure (en suivant les méthodes de lectures précédemment
présentées). Ensuite retrancher 1 pour trouver la probabilité de l’encadrement
(au seuil de confiance). Par exemple, quand on demande de calculer la probabilité
pour que 𝑍 soit comprise entre -2,72 et 2,72. On lit d’abord la probabilité associée
à 2,72 (soit 0,9967). Ensuite, on multiplie cette valeur par 2 et on retranche 1. On
trouve alors 0,9934. Ainsi le seuil d’erreur 𝛼 s’obtient simplement comme est 1-
0,9934 soit 0,66%. Il faut noter que dans un encadrement 𝛼 n’est pas calculée
𝛼
telle que 1 − = 𝑃 mais comme 1 − 𝛼 = 𝑃.
2

- Cas d’un encadrement de type 𝑃 ( 𝑍 < 𝑏) ou de type 𝑃 ( 𝑍 > 𝑏)

Lorsqu’il s’agit d’un encadrement de type 𝑃 ( 𝑍 < 𝑏), on garde sans aucune
transformation la valeur lue dans la table (ou obtenue par la fonction : =
𝑙𝑜𝑖. 𝑛𝑜𝑟𝑚𝑎𝑙𝑒. 𝑠𝑡𝑎𝑛𝑑𝑎𝑟𝑑. 𝑛(𝑞; 𝑉𝑅𝐴𝐼). Ainsi, le seuil d’erreur 𝛼 s’obtient en utilisant la
relation 1 − 𝛼 = 𝑃.

Mais quand il s’agit d’un encadrement de type P( U  b ) , on lit d’abord P(U  b ) ,

ensuite on calcule P( U  b )  1  P(U  b ) . Ainsi, le seuil d’erreur 𝛼 s’obtient en
utilisant la relation 1 − 𝛼 = 𝑃.

1.6.2. Utilisation de la table de Student

1.6.2.1. Lecture des fractiles connaissant les probabilités 𝜶

En général la table de Student se présente de telle sorte que les lignes

correspondent aux degrés de liberté et les colonnes correspondent aux valeurs des
probabilités. Pour utiliser une table se présentant sous ce format, on retrouve
d’abord le degré de liberté, puis on lit sur la ligne correspondante (de gauche à
droite) jusqu’à trouver la première valeur de t* supérieure au t calculé. Et on
retient en haut de la colonne la valeur P correspondante à cette valeur.
𝛼
NB : Néanmoins, il faut noter que dans la table de Student, le quantile 1 − se
2
lit dans la colonne 𝑃 = 𝛼 alors que le quantile 1 − 𝛼 se lit dans la colonne 𝑃 = 2𝛼.
Cette distinction est importante car, elle permet de différencier la lecture de la
𝛼
table selon qu’il s’agit d’un test bilatéral (1 − ) ou d’un test unilatéral (1 − 𝛼).
2

𝛼
Notons aussi que pour déterminer le fractile d’ordre 1 − ou 1 − 𝛼 de la loi
2
Student, on peut aussi utiliser la fonction Excel :

26
 = 𝑙𝑜𝑖. 𝑠𝑡𝑢𝑑𝑒𝑛𝑡. 𝑖𝑛𝑣𝑒𝑟𝑠𝑒(𝛼 ; 𝑑𝑑𝑙) pour le cas d’un test bilatéral et
= 𝑙𝑜𝑖. 𝑠𝑡𝑢𝑑𝑒𝑛𝑡. 𝑖𝑛𝑣𝑒𝑟𝑠𝑒(2𝛼 ; 𝑑𝑑𝑙) pour le cas d’un test unilatéral

Aussi lorsque l’on veut déterminer la valeur symétrique (opposée) d’un fractile en
vue, par exemple, de la détermination d’un intervalle de confiance, etc, on prend
juste l’opposé du fractile calculée puisque la loi de Student est une loi symétrique.

Par ailleurs, il faut aussi noter que lorsque n est grand (n>30), on peut
approximer la loi de Student par la loi normale. Dès lors, on peut utiliser la table
de la loi normale comme décrite précédemment.

1.6.2.2. Lecture des probabilités connaissant les fractiles

Pour déterminer la probabilité 𝛼 dans une table de la loi de Student, on se sert

uniquement du fractile et du nombre de degré de liberté en prenant le chemin
inverse qui conduit à la détermination du fractile. Dans la table de Student, on se
place sur la ligne correspondant au nombre de degrés de liberté et on se déplace
de gauche vers la droite en essayant d’identifier la valeur la plus proche possible
du fractile recherché. Une fois la valeur du fractile identifiée, on retrouve la
valeur de la probabilité en lisant dans le libellé de la colonne correspondant en
haut de la table.
Cette procédure peut aussi être mise en œuvre en utilisant les fonctions d’Excel
spécifiée comme suit :
= 𝑙𝑜𝑖. 𝑠𝑡𝑢𝑑𝑒𝑛𝑡(𝑞; 𝑑𝑑𝑙; 2)

Où 𝑞 représente le fractile dont on cherche la probabilité ; 𝑑𝑑𝑙 représente le

nombre de degrés de liberté. L’option 2 signifie que le logiciel doit fournir
𝛼
directement la valeur 𝛼. En effet, en mettant l’option 1, on obtient qu’il va
2
falloir ensuite multiplier par 2 pour retrouver 𝛼.

1.6.3. Utilisation de la table de khi-deux

1.6.3.1. Lecture des fractiles connaissant les probabilités 𝜶

La lecture d’une table de khi-deux se fait de la même manière que la lecture de la

table de Student discutée précédemment notamment pour ce qui concerne la
recherche la recherche du fractile correspondant à un seuil donné.
Cependant la procédure diffère significativement lorsqu’il s’agit des
encadrements car la loi de khi-deux n’est pas une loi symétrique. En effet, à la
différence des précédentes lois, la loi de khi-deux n’est pas symétriquement
distribuée autour de 0. Par conséquent lorsqu’on veut procéder, par exemple, à

27
un encadrement, on doit d’abord définir la probabilité associée chaque fractile
constituant les bornes. Par exemple pour encadrer une valeur 𝑈 dans la
perspective de la détermination d’un intervalle de confiance etc.., on calcule
d’abord deux probabilités :
𝛼 𝛼
𝑝1 = 𝑒𝑡 𝑝2 = + (1 − 𝛼).
2 2
Ensuite, on lit les fractiles correspondant à chaque probabilité (en utilisant les
degrés de liberté). Ensuite, on encadre 𝑈 telle que 𝑞1 < 𝑈 < 𝑞2 où 𝑞1 et 𝑞2
représentent respectivement les fractiles correspondants à 𝑝1 et 𝑝2. Cet
encadrement se fait donc de telle sorte que 𝑃(𝑞1 < 𝑈 < 𝑞2) = 1 − 𝛼. Où 1 − 𝛼 est
le seuil de confiance. Pour executer cette prodcéure sous excel, on procède comme
suit : = 𝑙𝑜𝑖. 𝑘ℎ𝑖𝑑𝑒𝑢𝑥. 𝑖𝑛𝑣𝑒𝑟𝑠𝑒(𝑝1; 𝑑𝑑𝑙) et = 𝑙𝑜𝑖. 𝑘ℎ𝑖𝑑𝑒𝑢𝑥. 𝑖𝑛𝑣𝑒𝑟𝑠𝑒(𝑝2; 𝑑𝑑𝑙).
Les valeurs obtenues servent donc à construire l’intervalle de confiance.

1.6.3.2. Lecture des probabilités connaissant les fractiles

Là également, il n’y pas de différence entre la procédure de lecture d’une loi de

khi-deux et une loi de Student pour ce qui concerne la recherche d’une probabilité
simple. Par conséquent, on peut se référer à la méthode discutée pour la loi de
Student.
En revanche lorsqu’il s’agit de déterminer la probabilité lorsque le fractile est
fourni sous forme d’encadrement, la procédure est un peu particulière.
En effet, Puisque, nous avons deux bornes, pour obtenir la probabilité
𝛼
correspondant à la fractile inférieure (c'est-à-dire pour obtenir ), on recherche
2
juste cette valeur dans la colonne où l’on identifié le fractile. Ensuite, on
multiplie par 2 pour obtenir 𝛼. De la même manière, on peut se servir de la
𝛼
fractile supérieure pour déterminer la probabilité correspondant à + (1 − 𝛼) qui
2
permet ensuite d’obtenir 𝛼. Toutes ces procédure peuvent être mis en œuvre sous
excel, en utilisant l’une des formules suivantes :

= 𝑙𝑜𝑖. 𝑘ℎ𝑖𝑑𝑒𝑢𝑥(𝑞1; 𝑑𝑑𝑙)

= 𝑙𝑜𝑖. 𝑘ℎ𝑖𝑑𝑒𝑢𝑥(𝑞2; 𝑑𝑑𝑙

L’une ou l’autre de ces deux valeurs obtenues permettra alors de calculer  et

par conséquent 1-  .

28
CHAPITRE 2 : LE MODELE LINEAIRE SIMPLE
Nous cherchons à étudier la relation entre deux variables Y et X. Y est la
variable que on cherche à expliquer ( ou à prédire), on parle de variable endogène
(dépendante) ; X est la variable explicative (prédictive), on parle de variable
exogène (indépendante). L’équation mathématique qui permet de relier Y à X est
appelée modèle. Ce modèle est dit simple lorsqu’il existe qu’une seule variable
explicative. La forme générale du modèle linéaire simple est la suivante :

𝑦𝑖 = 𝛽0 + 𝛽1 𝑥𝑖 + 𝜀𝑖 (2.1)

𝑦𝑖 représente la variable expliquée (encore appelée variable dépendante). 𝑥𝑖

représentent la variable explicative (encore appelée variable indépendante). 𝜀𝑖
représente les perturbations aléatoires ou les résidus. Les coefficients 𝛽0 et 𝛽1
sont les paramètres à estimer. Ils représentent les effets des variables
explicatives sur la variable expliquée. Par exemple, 𝛽1 mesure l’impact de la
variable 𝑥𝑖 sur la variable 𝑦𝑖 .

Il faut simplement remarquer que dans l’équation (2.1), les variables 𝑦 et 𝑥 sont
observées alors que les paramètres 𝛽0, 𝛽1 et les perturbations aléatoires sont
inobservés. Le terme aléatoire 𝜀𝑖 , que l'on appelle l'erreur du modèle permet de
résumer toute l'information qui n'est pas prise en compte dans la relation linéaire
que l'on cherche à établir entre Y et X c.-à-d. les problèmes de spécifications,
l'approximation par la linéarité, etc.

Les paramètres 𝛽0, 𝛽1 sont estimés dans une procédure appelée régression. La
régression linéaire consiste à trouver une droite qui ajuste au mieux un nuage de
points formé par les couples (𝑋, 𝑌). Pour cela plusieurs techniques peuvent être
utilisées dont notamment la méthode des moindres carrés ordinaires et la
méthode de maximum de vraisemblance.

2.1. Estimation par les moindres carrés ordinaires

L’estimation du modèle linéaire simple par les Moindres Carrés Ordinaires MCO
consiste à chercher la droite qui minimise la somme des carrés des résidus :
𝑛 𝑛

𝑙(𝛽0 , 𝛽1 ) = Min ∑ 𝜀 = Min ∑(𝑦𝑖 − 𝛽0 − 𝛽1 𝑥𝑖 )2

2
(2.2)
𝛽0 ,𝛽1 𝛽0 ,𝛽1
𝑖=1 𝑖=1

Le minimum de cette fonction s’obtient en annulant les dérivées partielles par

rapport à 𝛽0 et 𝛽1.

29
 𝑛
𝜕𝑙(𝛽0, 𝛽1 )
= − ∑ 2(𝑦𝑖 − 𝛽0 − 𝛽1 𝑥𝑖 ) = 0 (2.3𝑎)
𝛽0
𝑖=1

𝑛
𝜕𝑙(𝛽0 , 𝛽1 )
= − ∑ 2(𝑦𝑖 − 𝛽0 − 𝛽1 𝑥𝑖 )𝑥𝑖 = 0 (2.3𝑏)
{ 𝛽1
𝑖=1

Par simplification, on a :
𝑛

∑(𝑦𝑖 − 𝛽0 − 𝛽1 𝑥𝑖 ) = 0
𝑖=1

∑(𝑦𝑖 − 𝛽0 − 𝛽1 𝑥𝑖 )𝑥𝑖 = 0
{ 𝑖=1

Ces deux équations sont appelées « équation normales ». On peut simplement

noter que comme 𝑦𝑖 − 𝛽0 − 𝛽1 𝑥𝑖 = 𝜀𝑖 , alors les équation normales peuvent aussi
s’écrire sous la nouvelle forme suivante :
𝑛

∑ 𝜀𝑖 = 0
𝑖=1

∑ 𝑥𝑖 𝜀𝑖 = 0
{ 𝑖=1

Ces deux propriétés sont extrêmement importantes. Elles montrent d’une part
que la somme des résidus est nulle et d’autre part que le produit croisé entre les
résidus et la variable explicative est aussi nulle. Mais comme on le verra un peu
plus loin, la première propriété n’est plus vérifiée lorsqu’il n’y pas de constante
dans le modèle. Ce qui a aussi quelques implications.

En revenant à la forme explicite des équation normales, on a un système de deux

équations à deux inconnues, qui peuvent également s’écrire :
𝑛 𝑛

∑ 𝑦𝑖 − 𝑛𝛽0 − 𝛽1 ∑ 𝑥𝑖 = 0
𝑖=1 𝑖=1

𝑛 𝑛 𝑛

∑ 𝑥𝑖 𝑦𝑖 − 𝛽0 ∑ 𝑥𝑖 − 𝛽1 ∑ 𝑥𝑖 2 = 0
{ 𝑖=1 𝑖=1 𝑖=1

30
En divisant la première équation par n, on retrouve :

𝑦̅ − 𝛽0 − 𝛽1 𝑥̅ = 0

𝑛 𝑛 𝑛

∑ 𝑥𝑖 𝑦𝑖 − 𝛽0 ∑ 𝑥𝑖 − 𝛽1 ∑ 𝑥𝑖 2 = 0
{ 𝑖=1 𝑖=1 𝑖=1

La première équation montre que la droite passe par le point moyen (𝑥̅ , 𝑦̅). Ce qui
permet donc de poser que :

𝛽0 = 𝑦̅ − 𝛽1 𝑥̅ (2.4𝑎)

En remplaçant 𝛽0 par sa valeur dans la seconde équation divisée par n, on a :

𝑛 𝑛
1 1
∑ 𝑥𝑖 𝑦𝑖 − (𝑦̅ − 𝛽1 𝑥̅ )𝑥̅ − 𝛽1 ∑ 𝑥𝑖 2 = 0
𝑛 𝑛
𝑖=1 𝑖=1

𝑛 𝑛
1 1
∑ 𝑥𝑖 𝑦𝑖 − 𝑥̅ 𝑦̅ − 𝛽1 ( ∑ 𝑥𝑖 2 − 𝑥̅ 2 ) = 0
𝑛 𝑛
𝑖=1 𝑖=1

𝑆𝑥𝑦 − 𝛽1 𝑆𝑥2 = 0 (2.4𝑏)

Ainsi la solution au problème de minimisation de la somme des carrés de résidus

se présente comme suit :

𝑆𝑥𝑦
𝛽̂1 = (2.5𝑎)
𝑆𝑥2

𝑆𝑥𝑦
𝛽̂0 = 𝑦̅ − 𝑥̅ (2.5𝑏)
{ 𝑆𝑥2

𝐶𝑂𝑉(𝑥, 𝑦)
𝛽̂1 = (2.6𝑎)
𝑉𝐴𝑅(𝑥)

{ 𝛽̂0 = 𝑦̅ − 𝛽̂1 𝑥̅ (2.6𝑏)

La droite de régression s’écrit alors comme :

𝑦𝑖 = 𝛽̂0 + 𝛽̂1 𝑥𝑖 + 𝜀𝑖 (2.7)

31
 𝑆𝑥𝑦 𝑆𝑥𝑦
Avec 𝛽̂1 = 𝑆2 et 𝛽̂0 = 𝑦̅ − 2 𝑥̅
𝑥 𝑆 𝑥

2.1.1. Les valeurs ajustées (ou valeurs prédites) du modèle

Les valeurs ajustées notées 𝑦̂𝑖 sont obtenues au moyen de la droite de régression :

𝑦̂𝑖 = 𝛽̂0 + 𝛽̂1 𝑥𝑖 (2.8)

2.1.2. Les hypothèses de base sur les résidus de régression

Le résidu est la partie inexpliquée de 𝑦𝑖 par la droite de régression. C’est la
différence entre la valeur observée 𝑦𝑖 de la variable dépendante et sa valeur
ajustée 𝑦̂.
𝑖 Ils sont calculés comme suit :

𝜀𝑖 = 𝑦𝑖 − 𝑦̂𝑖 (2.9)

Propriétés des résidus

La première hypothèse qui conditionne la validité de l’estimateur des moindres

carrés ordinaires est que l’espérance des résidus soit nulle. Cette propriété se
traduit par l’expression suivante :
𝑛 𝑛
1 1
𝐸(𝜀𝑖 ) = ∑ 𝜀𝑖 = ∑(𝑦𝑖 − 𝑦̂)
𝑖 =0
𝑛 𝑛
𝑖=1 𝑖=1

𝐸(𝜀𝑖 ) = 0 (2.10)

Cette propriété est l’une des hypothèses fondamentales dans l’estimation par les
moindres carrés ordinaires.

La seconde hypothèse concernant les résidus est celle d’homocédasticité qui

signifie que la variance des résidus est constante. Elle est notée comme suit :

𝑉𝐴𝑅(𝜀𝑖 ) = 𝐸(𝜀𝑖 2 ) − [𝐸(𝜀𝑖 )]2 = 𝐸(𝜀𝑖 2 ) = 𝜎𝜀2 (2.11)

Une troisième hypothèse est la non-corrélation entre les résidus et les variables
explicatives du modèle. On dit alors qu’il y a orthogonalité (ou indépendance)
entre les résidus et les variables explicatives. Cette indépendance se traduit par
une covariance nulle entre la série des résidus 𝜀𝑖 et la série des 𝑥𝑖 . Ce qui se
traduit comme suit :
𝑛
1
𝐶𝑂𝑉(𝑥𝑖 , 𝜀𝑖 ) = 𝐸(𝑥𝑖 𝜀𝑖 ) − 𝐸(𝑥𝑖 )𝐸(𝜀𝑖 ) = 𝐸(𝑥𝑖 𝜀𝑖 ) = ∑ 𝑥𝑖 𝜀𝑖 = 0
𝑛
𝑖=1

32
 𝑛
1
𝐶𝑂𝑉(𝑥𝑖 , 𝜀𝑖 ) = ∑ 𝑥𝑖 𝜀𝑖 = 0 (2.12𝑎)
𝑛
𝑖=1

La quatrième hypothèse stipule que les résidus sont non corrélés entre eux, en
d’autres termes la covariance entre deux résidus 𝑖 et 𝑗 est toujours égale à 0.

𝐶𝑂𝑉(𝜀𝑖 , 𝜀𝑗 ) = 𝐸(𝜀𝑖 𝜀𝑗 ) − 𝐸(𝜀𝑖 )𝐸(𝜀𝑗 ) = 𝐸(𝜀𝑖 𝜀𝑗 ) = 0 ∀𝑖 ≠𝑗 (2.12𝑏)

Le non-respect de l’une des quatre hypothèses entraîne l’invalidité de l’estimation

par les moindres carrés ordinaires. Dès lors, il apparaît important de s’assurer
que ces hypothèses soient vérifiées avant d’utiliser cette méthode d’estimation.

Par ailleurs, il existe une hypothèse supplémentaire sur la distribution des

résidus. C’est l’hypothèse de normalité des résidus. On suppose que les résidus
suivent une loi normale de moyenne nulle et de variance 𝜎𝜀2 .

𝜀𝑖 ↝ 𝑁(0, 𝜎𝜀2 )

Il faut noter que cette hypothèse n’est pas une condition nécessaire de la validité
de l’estimateur des MCO. Celui-ci cherche simplement à minimiser la somme des
carrés des résidus. Peu importe donc la loi suivie la série des résidus dans cette
méthode d’estimation. Il faut juste que les résidus soient indépendants et
identiquement distribués.

En plus de ces cinq hypothèses sur la série des résidus, il existe aussi des
hypothèses sur la série des variables explicatives. En effet, on suppose que la
série de X n’est pas stochastique c'est-à-dire que X est non aléatoire. Cette
hypothèse signifie que son espérance et sa variance sont constantes. En revanche
la variable Y est un variable stochastique car sa valeur est influencée par les
perturbations provenant des 𝜀𝑖

2.1.3. Décomposition de la somme des carrés

2.1.3.1. Somme des carrés expliquée (SCE)

La SCE est la somme des écarts à la moyenne des valeurs ajustées (prédites)
𝑛

𝑆𝐶𝐸 = ∑(𝑦̂𝑖 − 𝑦̅)2 (2.13)

𝑖=1

La SCE indique la variabilité expliquée par le modèle c.-à-d. la variation de 𝑌

expliquée par 𝑋.

33
2.1.3.2. Somme des carrés résiduelle (SCR)

La SCR est la somme des carrés des écarts aléatoires:

𝑛

𝑆𝐶𝑅 = ∑ 𝜀𝑖 2 (2.14)
𝑖=1

La SCR indique la variabilité non-expliquée (résiduelle) par le modèle c.-à-d.

l'écart entre les valeurs observées de Y et celles prédites par le modèle.

2.1.3.3. Somme des carrés totale (SCT)

La SCT indique la variabilité totale de Y c.-à-d. l'information disponible dans les

données. Elle est la somme de la SCE et de la SCR :

Démonstration

On sait que :

𝑦𝑖 = 𝑦̂𝑖 + 𝜀𝑖

Ajoutons de part et d’autre de l’équation la moyenne de 𝑦̅. On a :

𝑦𝑖 − 𝑦̅ = 𝑦̂𝑖 − 𝑦̅ + 𝜀𝑖

Ainsi, on a :

(𝑦𝑖 − 𝑦̅) = (𝑦̂𝑖 − 𝑦̅) + 𝜀𝑖

Elevons les deux membres d’équation au carré on a :

(𝑦𝑖 − 𝑦̅)2 = [(𝑦̂𝑖 − 𝑦̅) + 𝜀𝑖 ]2

En développant le membre de droite, on a :

(𝑦𝑖 − 𝑦̅)2 = (𝑦̂𝑖 − 𝑦̅)2 + 𝜀𝑖 2 + 2(𝑦̂𝑖 − 𝑦̅)𝜀𝑖

En passant l’opérateur somme, on a :

𝑛 𝑛 𝑛 𝑛

∑(𝑦𝑖 − 𝑦̅)2 = ∑(𝑦̂𝑖 − 𝑦̅)2 + ∑ 𝜀𝑖 2 + 2 ∑(𝑦̂𝑖 − 𝑦̅)𝜀𝑖

𝑖=1 𝑖=1 𝑖=1 𝑖=1

Or d’après les équations normales, ∑𝑛𝑖=1(𝑦̂𝑖 − 𝑦̅)𝜀𝑖 est nulle car, on a :

𝑛 𝑛 𝑛 𝑛 𝑛

̅𝜀𝑖 = ∑(𝛽̂0 + 𝛽̂1 𝑥𝑖 )𝜀𝑖 − 𝑦̅ ∑ 𝜀𝑖

𝑖 𝑖 −∑𝑦
∑(𝑦̂𝑖 − 𝑦̅)𝜀𝑖 = ∑ 𝑦̂𝜀
𝑖=1 𝑖=1 𝑖=1 𝑖=1 𝑖=1

34
 𝑛 𝑛 𝑛 𝑛

∑(𝑦̂𝑖 − 𝑦̅)𝜀𝑖 = 𝛽̂0 ∑ 𝜀𝑖 + 𝛽̂1 ∑ 𝑥𝑖 𝜀𝑖 − 𝑦̅ ∑ 𝜀𝑖

𝑖=1 𝑖=1 𝑖=1 𝑖=1

On sait d’après les équations normales que :

𝑛

∑ 𝜀𝑖 = 0
𝑖=1

Par conséquent :
𝑛

2 ∑(𝑦̂𝑖 − 𝑦̅)𝜀𝑖 = 0
𝑖=1

Ce qui, au final permet d’écrire que :

𝑛 𝑛 𝑛

∑(𝑦𝑖 − 𝑦̅)2 = ∑(𝑦̂𝑖 − 𝑦̅)2 + ∑ 𝜀𝑖 2

𝑖=1 𝑖=1 𝑖=1

D’où : 𝑆𝐶𝑇 = 𝑆𝐶𝐸 + 𝑆𝐶𝑅 (2.15)

Ainsi, on a bien la somme des carrés totale égale à la somme des carrés
expliquées et la somme des carrés résiduelle.

Nb : Cette propriété tient uniquement lorsqu’il existe une constante dans la

régression. Mais lorsqu’il n’y a pas de constante dans l’équation estimée, la
propriété sur la somme des carrés totale n’est plus vérifiée car ∑𝑛𝑖=1 𝜀𝑖 ≠ 0.

Il faut aussi savoir que lorsque cette propriété n’est pas vérifiée, le test de
significativité globale ou le calcul du R² ne sont plus valables.

2.1.4. Equation de décomposition de la variance

L’équation d’analyse de la variance se déduit de l’équation de la somme des
carrés. Ainsi, en fonction de la SCT, la SCE et la SCR, on obtient la variance
totale (VT), variance expliquée (VE) et variance résiduelle(VR) en divisant les
sommes des carrés correspondantes par le nombre d’observations 𝑛.
𝑛
1
𝑉𝐸 = ∑(𝑦̂𝑖 − 𝑦̅)2 (2.16)
𝑛
𝑖=1

𝑛
1
𝑉𝑅 = ∑ 𝜀𝑖 2 (2.17)
𝑛
𝑖=1

35
 𝑛 𝑛
1 1
𝑉𝑇 = 𝑉𝐸 + 𝑉𝑅 = ∑(𝑦̂𝑖 − 𝑦̅)2 + ∑ 𝜀𝑖 2 (2.18)
𝑛 𝑛
𝑖=1 𝑖=1

1
Sachant par ailleurs que la variance totale de 𝑦 est 𝑆𝑦2 = ∑𝑛𝑖=1(𝑦𝑖 − 𝑦̅)2 alors :
𝑛

𝑛 𝑛 𝑛
1 1 1
𝑉𝑇 = 𝑆𝑦2 = ∑(𝑦𝑖 − 𝑦̅)2 = ∑(𝑦̂𝑖 − 𝑦̅)2 + ∑ 𝜀𝑖 2
𝑛 𝑛 𝑛
𝑖=1 𝑖=1 𝑖=1

La VE indique la variabilité expliquée par le modèle c.-à-d. la variation de 𝑌

expliquée par 𝑋. La VR indique la variabilité non-expliquée (résiduelle) par le
modèle c.-à-d. l'écart entre les valeurs observées de Y et celles prédites par le
modèle. La VT indique la variabilité totale de Y c.-à-d. l'information disponible
dans les données.

2.1.5. Le coefficient de détermination : 𝑹𝟐 et 𝑹𝟐 ajusté

A partir de l'équation de décomposition de la variance, on peut déduire un
indicateur synthétique capable d’indiquer la proportion de variance de la variable
Y expliquée par le modèle. C'est le coefficient de détermination 𝑅².

En effet, en reprenant l’expression de la variance totale (ou de la somme des

carrés totale), on pose :

𝑉𝑇 = 𝑉𝐸 + 𝑉𝑅

En divisant chaque membre de l’équation par VT, on trouve :

𝑉𝐸 𝑉𝑅
1= +
𝑉𝑇 𝑉𝑇
2
Le coefficient de détermination de 𝑦 par 𝑥 noté 𝑅𝑥𝑦 se définit comme la part de la
𝑉𝐸
variance de 𝑦 expliquée par 𝑥. Cette définition correspond à l’expression qui
𝑉𝑇
indique le rapport entre la variance totale et la variance expliquée. Dans ce cas,
on a :

2
𝑉𝑅 𝑉𝑅
𝑅𝑥𝑦 = =1− (2.19𝑎)
𝑉𝑇 𝑉𝑇

En remplaçant VR et VT par leur valeur et en simplifiant par 𝑛, on obtient :

2
∑𝑛𝑖=1 𝜀𝑖 2
𝑅𝑥𝑦 = 1−( 𝑛 )
∑𝑖=1(𝑦̂𝑖 − 𝑦̅)2 + ∑𝑛𝑖=1 𝜀𝑖 2

2
∑𝑛𝑖=1 𝜀𝑖 2
𝑅𝑥𝑦 = 1−( )
∑𝑛𝑖=1(𝑦𝑖 − 𝑦̅)2

36
 2
𝑆𝐶𝑅
𝑅𝑥𝑦 = 1−( ) (2.19𝑏)
𝑆𝐶𝑇
2
Le 𝑅𝑥𝑦 est un indicateur de la qualité de l’ajustement. Il est compris entre 0 et 1.
Quand il est proche de 1, le modèle sera considéré de bonne qualité.

Même si le 𝑅² reste un bon indicateur de la qualité de l’ajustement, son principal

inconvénient provient du fait qu’il augmente mécaniquement lorsque l’on ajoute
des variables explicatives supplémentaires. Ce qui signifie qu’il suffit d’ajouter
arbitrairement les variables explicatives pour que le 𝑅² augmente. Ce qui
affaiblit la parcimonie du modèle, c’est-à-dire sa capacité à décrire la réalité avec
un nombre restreint de variables. C’est pour cette raison qu’on introduit la notion
de 𝑅² ajusté calculé comme suit :

2 𝑛−1 𝑆𝐶𝑅
𝑅𝑎𝑗𝑢𝑠𝑡é = 1−( ) (2.20)
𝑛 − 𝑘 − 1 𝑆𝐶𝑇

Où 𝑛 − 𝑘 − 1 est le nombre de degrés de liberté avec 𝑘 le nombre de variables du

modèle (constante exclue).

Propriétés : Lien entre le coefficient de détermination 𝑅² et le coefficient de

corrélation 𝑟𝑥𝑦 .

Le coefficient de détermination est le carré du coefficient de corrélation.

Démonstration :

1 𝑛
𝑆𝐶𝐸 𝑉𝐸 ∑𝑖=1(𝑦̂𝑖 − 𝑦̅)2
2
𝑅 = = = 𝑛
𝑆𝐶𝑇 𝑉𝑇 1 ∑𝑛 (𝑦 − 𝑦̅)2
𝑛 𝑖=1 𝑖

Dans un premier temps, remplaçons 𝑦̂𝑖 par son expression 𝑦̂𝑖 = 𝛽̂0 + 𝛽̂1 𝑥𝑖 , on a :

1 𝑛 ̂ 2
∑𝑖=1(𝛽0 + 𝛽̂1 𝑥𝑖 − 𝑦̅)
𝑅2 = 𝑛
1 𝑛
∑ (𝑦 2
𝑛 𝑖=1 𝑖 − 𝑦̅)

Ensuite 𝛽̂0 par son expression 𝛽̂0 = 𝑦̅ − 𝛽̂1 𝑥̅ , on obtient

1 𝑛 ̂ 2 2 1 2
∑𝑖=1(𝛽1 (𝑥𝑖− 𝑥̅ )) 𝛽̂1 ( ∑𝑛𝑖=1(𝛽̂1 (𝑥𝑖− 𝑥̅ )) ) 𝛽̂1 2 𝑉(𝑋)
𝑅2 = 𝑛 = 𝑛 =
1 𝑛 1 𝑛 𝑉(𝑌)
∑𝑖=1(𝑦𝑖 − 𝑦̅)2 ∑𝑖=1(𝑦𝑖 − 𝑦̅)2
𝑛 𝑛

𝐶𝑂𝑉(𝑋, 𝑌) 2
( ) 𝑉(𝑋) (𝐶𝑂𝑉(𝑋, 𝑌))2 𝑉(𝑋) (𝐶𝑂𝑉(𝑋, 𝑌))2
𝑉(𝑋)
= = =
𝑉(𝑌) (𝑉(𝑋))2 𝑉(𝑌) 𝑉(𝑋)𝑉(𝑌)

37
 2
2
𝐶𝑂𝑉(𝑋, 𝑌) 2
𝑅 =( ) = (𝑟𝑥𝑦 )
√𝑉(𝑋)√𝑉(𝑌)
2
𝑅 2 = (𝑟𝑥𝑦 ) (2.21)

Par ailleurs, connaissant cette propriété, on peut le coefficient de corrélation

linéaire multiple tel que 𝑅 = √𝑅² mais aussi le coefficient de corrélation simple.
Mais dans ce cas, on utilise le signe du coefficient de régression simple comme
suit :

𝑟𝑥𝑦 = 𝑠𝑖𝑔𝑛𝑒(𝛽̂0 ) ∗ 𝑅 (2.22)

2.1.6. Calcul de la variance estimée des résidus

La variance des résidus notée 𝜎𝜀2 est en pratique inobservée. On doit alors
proposer une valeur estimée de ce paramètre. Pour cela, on part de la formule de
la variance résiduelle précédemment présentée en y apportant quelques
ajustements. En effet :
𝑛
𝜎̂𝜀2 = 𝑉𝑅 (2.23)
𝑛 − (𝑘 + 1)
𝑛 𝑛
1 1
𝐴𝑣𝑒𝑐 𝑉𝑅 = ∑ 𝜀̂𝑖 2 = ∑(𝑦𝑖 − 𝑦̂)
𝑖
2
𝑛 𝑛
𝑖=1 𝑖=1

Où 𝑉𝑅 est la variance résiduelle calculée sur la série des résidus estimés, 𝑛 est le
nombre d’observations, 𝑘 est le nombre de variables explicatives (ici égal à 1).
Ainsi (𝑘 + 1) est le nombre total de paramètres à estimer, également appelé
nombre de degré de liberté.

∑𝑛𝑖=1(𝑦𝑖 − 𝑦̂)
𝑖
2
𝜎̂𝜀2 = (2.24)
𝑛 − (𝑘 + 1)

Cette normalisation par (𝑘 + 1) a pour but d’obtenir un estimateur sans biais de

1
de la variance des résidus car la 𝑉𝑅 = ∑𝑛𝑖=1(𝑦𝑖 − 𝑦̂𝑖 )2 est biaisé.
𝑛

2.2. Propriétés des estimateurs : biais et convergence

Deux propriétés sont importantes dans l'évaluation d'un estimateur. (1) Est-ce
qu'il est sans biais c.-à-d. est-ce qu'en moyenne nous obtenons la vraie valeur du
paramètre ? (2) Est-ce qu'il est convergent c.-à-d. est-ce que l'estimation devient
de plus en plus précise lorsque que la taille de l'échantillon tend vers l’infini ?

Le biais d’estimation est évalué en fonction de l’espérance tandis que la précision

est évaluée en fonction de la variance de l’estimateur.

38
2.2.1. Le biais d’estimation
On dit que qu’un estimateur est sans biais si son espérance est égale à la vraie
valeur du paramètre estimé. Par exemple, on dit qu’un estimateur 𝜃̂ est sans
biais si :

𝐸(𝜃̂) = 𝜃

Où 𝜃 est la vraie valeur du paramètre.

Pour vérifier cette propriété sur les estimateurs des MCO de 𝛽̂0 𝛽̂1 et 𝜎̂𝜀2 , on
calcule leur espérance respective. Ainsi, on a :

𝐸(𝛽̂𝑘 ) = 𝛽𝑘 𝑘 = 0; 1 (2.25)

𝐸(𝜎̂𝜀2 ) = 𝜎𝜀2 (2.26)

Pour arriver à ces résultats, il y a deux étapes principales. Dans un premier

temps, on exprime le paramètre estimé en fonction de sa vraie valeur; Et dans un
deuxième temps, on passe cette expression à l’opérateur d’espérance
mathématique. D’une manière générale, en se basant sur les hypothèses de base
énoncées sur le modèle linéaire, l’expression de simplifie généralement et se
réduit à la vraie valeur si l’estimateur est non biaisé.

Démonstrations :

Démontrons que l’estimateur 𝛽̂1 de 𝛽1 est sans biais.

𝑛
∑ (𝑥 −𝑥̅ )(𝑦 −𝑦̅)
𝐶𝑂𝑉(𝑋,𝑌)
On sait que : 𝛽̂1 = = 𝑖=1∑𝑛 𝑖 (𝑥 −𝑥̅ )𝑖 2
𝑉𝐴𝑅(𝑋) 𝑖=1 𝑖

Faisons apparaître 𝛽1 dans cette expression en remplaçant (𝑦𝑖 − 𝑦̅). Pour cela, on
part du modèle initial :

𝑦𝑖 = 𝛽0 + 𝛽1 𝑥𝑖 + 𝜀𝑖

Passons d’abord cette équation à l’opérateur somme et divisons par 𝑛 pour

calculer 𝑦̅. On a :
𝑛 𝑛 𝑛 𝑛
1 1 1 1
∑ 𝑦𝑖 = ∑ 𝛽0 + 𝛽1 ∑ 𝑥𝑖 + ∑ 𝜀𝑖
𝑛 𝑛 𝑛 𝑛
𝑖=1 𝑖=1 𝑖=1 𝑖=1

On obtient ainsi :

𝑦̅ = 𝛽0 + 𝛽1 𝑥̅ + 𝜀̅

Formons la différence de cette équation avec l’équation initiale pour trouver

(𝑦𝑖 − 𝑦̅). On a :

39
 𝑦 = 𝛽0 + 𝛽1 𝑥𝑖 + 𝜀𝑖
−{ 𝑖
𝑦̅ = 𝛽0 + 𝛽1 𝑥̅ + 𝜀̅
__________________________________
(𝑦𝑖 − 𝑦̅) = 𝛽1 (𝑥 − 𝑥̅ ) + (𝜀𝑖 − 𝜀̅)

On remplace (𝑦𝑖 − 𝑦̅) par son expression dans l’expression de 𝛽̂1. On a :

∑𝑛𝑖=1(𝑥𝑖 − 𝑥̅ )[𝛽1 (𝑥𝑖 − 𝑥̅ ) + (𝜀𝑖 − 𝜀̅)]

𝛽̂1 =
∑𝑛𝑖=1(𝑥𝑖 − 𝑥̅ )2

En développant cette expression, on trouve :

𝛽1 ∑𝑛𝑖=1(𝑥𝑖 − 𝑥̅ )2 + ∑𝑛𝑖=1(𝑥𝑖 − 𝑥̅ )(𝜀𝑖 − 𝜀̅)

𝛽̂1 =
∑𝑛𝑖=1(𝑥𝑖 − 𝑥̅ )2

∑𝑛𝑖=1(𝑥𝑖 − 𝑥̅ )(𝜀𝑖 − 𝜀̅)

𝛽̂1 = 𝛽1 +
∑𝑛𝑖=1(𝑥𝑖 − 𝑥̅ )2

Par ailleurs sachant que 𝜀̅ = 0, on a :

∑𝑛𝑖=1(𝑥𝑖 − 𝑥̅ )𝜀𝑖
𝛽̂1 = 𝛽1 +
∑𝑛𝑖=1(𝑥𝑖 − 𝑥̅ )2

On peut maintenant passer cette expression à l’opérateur d’espérance pour voir si

∑𝑛
𝑖=1(𝑥𝑖 −𝑥̅ )𝜀𝑖
∑𝑛 2 (qui représente potentiellement le biais d’estimation) est nul. On a :
𝑖=1(𝑥𝑖 −𝑥̅ )

∑𝑛𝑖=1(𝑥𝑖 − 𝑥̅ )𝜀𝑖
𝐸(𝛽̂1 ) = 𝐸 (𝛽1 + )
∑𝑛𝑖=1(𝑥𝑖 − 𝑥̅ )2

∑𝑛𝑖=1(𝑥𝑖 − 𝑥̅ )𝜀𝑖
̂
𝐸(𝛽1 ) = 𝐸(𝛽1 ) + 𝐸 ( 𝑛 )
∑𝑖=1(𝑥𝑖 − 𝑥̅ )2

(𝑥𝑖 −𝑥̅ )
Mais puisque la variable 𝑥𝑖 n’est pas stochastique (non aléatoire), alors ∑𝑛 2
𝑖=1(𝑥𝑖 −𝑥̅ )

est aussi non stochastique. Or on sait que l’espérance d’une variable non
stochastique est égale à une constante indépendante des erreurs. Par conséquent
∑𝑛 (𝑥 −𝑥̅ )𝜀
𝑖 𝑖 ∑𝑛
𝑖=1(𝑥𝑖 −𝑥̅ )𝐸(𝜀𝑖 )
𝐸 ( ∑𝑖=1
𝑛 (𝑥
−𝑥̅ )2
)= ∑𝑛 2
. Notons aussi que 𝛽1 est non stochastique, par
𝑖=1 𝑖 𝑖=1(𝑥𝑖 −𝑥̅ )

conséquent (𝛽1 ) = 𝛽1 . Dès lors :

∑𝑛𝑖=1(𝑥𝑖 − 𝑥̅ )𝐸(𝜀𝑖 )
𝐸(𝛽̂1 ) = 𝛽1 +
∑𝑛𝑖=1(𝑥𝑖 − 𝑥̅ )2

D’après la première hypothèse sur les résidus, on a : 𝐸(𝜀𝑖 )=0. Ainsi

∑𝑛𝑖=1(𝑥𝑖 − 𝑥̅ )𝐸(𝜀𝑖 ) = 0. On obtient donc finalement que :

𝐸(𝛽̂1 ) = 𝛽1

40
Ce qui permet de montrer que 𝛽̂1 est sans biais.

Cette démonstration permet de tirer une conclusion essentielle : l'estimateur des

moindres carrés ordinaires (MCO) est sans biais, si et seulement si les deux
hypothèses suivantes sont respectées : La variable X n'est pas stochastique (X est
non aléatoire) et l'espérance de l'erreur est nulle.

Pour ce qui concerne 𝛽̂0 on peut démontrer qu’il est aussi sans biais en suivant la
même procédure que pour 𝛽̂1. En effet, on sait que :

𝛽̂0 = 𝑦̅ − 𝛽̂1 𝑥̅

En remplaçant 𝑦̅ par son expression 𝑦̅ = 𝛽0 + 𝛽1 𝑥̅ + 𝜀̅ tirée de l’équation de

l’équation initial du modèle, on obtient :

𝛽̂0 = 𝛽0 + (𝛽1 − 𝛽̂1 )𝑥̅ + 𝜀̅

En passant cette équation à l’opérateur d’espérance sachant que 𝜀̅ = 0, on a :

𝐸(𝛽̂0 ) = 𝛽0 + 𝑥̅ 𝐸(𝛽1 − 𝛽̂1 )

Sachant que 𝛽̂1 est un estimateur sans biais de 𝛽1, alors 𝐸(𝛽1 − 𝛽̂1 ) = 0. Par
conséquent :

𝐸(𝛽̂0 ) = 𝛽0

Ce qui montre que l’estimateur 𝛽̂0 de 𝛽0 est sans biais.

2.2.2. Convergence d’un estimateur

Un estimateur 𝜃̂ sans biais de 𝜃 est convergent si et seulement si sa variance
tend vers 0 lorsque le nombre d’observations (taille de l’échantillon) tend vers
l’infini.

𝑉𝐴𝑅(𝜃̂) → 0 𝑞𝑢𝑎𝑛𝑑 𝑛 → ∞

Où 𝑛 est le nombre d’observations.

Un estimateur consistant est un estimateur qui converge en probabilité vers le

paramètre qu’il tente d’estimer et qui se concentre de plus en plus autour de ce
paramètre à mesure que le nombre d’observations augmente. Ainsi, la variance
d’un estimateur consistant diminue à mesure qu’on augmente la taille de
l’échantillon.

41
Démonstrations :

Ainsi, pour démontrer qu’un estimateur est convergent, il faut d'abord expliciter
l’expression de la variance de cet estimateur et montrer, par la suite que cette
variance tend vers 0 lorsque n tend vers ∞.

On a démontré précédemment que :

∑𝑛𝑖=1(𝑥𝑖 − 𝑥̅ )𝜀𝑖
𝛽̂1 = 𝛽1 +
∑𝑛𝑖=1(𝑥𝑖 − 𝑥̅ )2

Ainsi sachant que la variance d’une somme est égale à la somme des variances
dans le cas des variables indépendantes, l’expression ci-dessus permet donc
d’écrire que :

∑𝑛𝑖=1(𝑥𝑖 − 𝑥̅ )𝜀𝑖
𝑉𝐴𝑅(𝛽̂1 ) = 𝑉𝐴𝑅(𝛽1 ) + 𝑉𝐴𝑅 ( 𝑛 )
∑𝑖=1(𝑥𝑖 − 𝑥̅ )2

𝛽1 étant une valeur fixe (non aléatoire), 𝑉𝐴𝑅(𝛽1 ) = 0. Ainsi on a :

∑𝑛𝑖=1(𝑥𝑖 − 𝑥̅ )𝜀𝑖
𝑉𝐴𝑅(𝛽̂1 ) = 𝑉𝐴𝑅 ( )
∑𝑛𝑖=1(𝑥𝑖 − 𝑥̅ )2

En changeant l’indice au dénominateur on a :

∑𝑛𝑖=1(𝑥𝑖 − 𝑥̅ )𝜀𝑖
𝑉𝐴𝑅(𝛽̂1 ) = 𝑉𝐴𝑅 ( 2 )
∑𝑛𝑗=1(𝑥𝑗 − 𝑥̅ )

(𝑥𝑖 −𝑥̅ )
Par ailleurs, 𝑥𝑖 étant une variable non stochastique, alors 2 est non
∑𝑛
𝑗=1(𝑥𝑗 −𝑥̅ )
(𝑥𝑖 −𝑥̅ )
stochastique et on peut noter cette expression comme 𝑛 2 = 𝜔𝑖 . Ainsi on a :
∑𝑗=1(𝑥𝑗 −𝑥̅ )

𝑛 𝑛 2

𝑉𝐴𝑅(𝛽̂1 ) = 𝑉𝐴𝑅 (∑ 𝜔𝑖 𝜀𝑖 ) = 𝐸 [(∑ 𝜔𝑖 𝜀𝑖 ) ]

𝑖=1 𝑖=1

On peut, par ailleurs démontrer que :

𝑛 2 𝑛 𝑛−1 𝑛

(∑ 𝜔𝑖 𝜀𝑖 ) = ∑(𝜔𝑖 𝜀𝑖 )2 + 2 (∑ ∑ 𝜔𝑖 𝜔𝑗 𝜀𝑖 𝜀𝑗 )
𝑖=1 𝑖=1 𝑖=1 𝑗=𝑖+1

Ainsi, on a :

𝑛 𝑛−1 𝑛

𝑉𝐴𝑅(𝛽̂1 ) = 𝐸 [∑(𝜔𝑖 𝜀𝑖 )2 + 2 (∑ ∑ 𝜔𝑖 𝜔𝑗 𝜀𝑖 𝜀𝑗 )]
𝑖=1 𝑖=1 𝑗=𝑖+1

42
 𝑛 𝑛−1 𝑛

𝑉𝐴𝑅(𝛽̂1 ) = ∑ 𝜔𝑖 2 𝐸(𝜀𝑖 2 ) + 2 (∑ ∑ 𝜔𝑖 𝜔𝑗 𝐸(𝜀𝑖 𝜀𝑗 ))

𝑖=1 𝑖=1 𝑗=𝑖+1
2)
Or on sait que : 𝐸(𝜀𝑖 = 𝑉𝐴𝑅(𝜀𝑖 ) = 𝜎𝜀2 et que 𝐸(𝜀𝑖 𝜀𝑗 ) = 𝐶𝑂𝑉(𝜀𝑖 , 𝜀𝑗 ) = 0. Par
conséquent :
𝑛

𝑉𝐴𝑅(𝛽̂1 ) = 𝜎𝜀2 ∑ 𝜔𝑖 2
𝑖=1
(𝑥𝑖 −𝑥̅ )
Mais sachant que 𝜔𝑖 = 2 alors on a : :
∑𝑛
𝑗=1(𝑥𝑗 −𝑥̅ )

𝑛 2 𝑛
(𝑥𝑖 − 𝑥̅ ) 𝜎𝜀2
𝑉𝐴𝑅(𝛽̂1 ) = 𝜎𝜀2 ∑ ( 2) = ∑(𝑥𝑖 − 𝑥̅ )2
2 2
𝑖=1 ∑𝑛𝑗=1(𝑥𝑗 − 𝑥̅ ) (∑𝑛𝑗=1(𝑥𝑗 − 𝑥̅ ) ) 𝑖=1
𝑛
𝜎𝜀2 2
𝜎𝜀2
= 𝑛 ∑(𝑥𝑖 − 𝑥̅ ) =
(∑𝑖=1(𝑥𝑖 − 𝑥̅ )2 )2 ∑𝑛𝑖=1(𝑥𝑖 − 𝑥̅ )2
𝑖=1

𝜎𝜀2
𝑉𝐴𝑅(𝛽̂1 ) =
∑𝑛𝑖=1(𝑥𝑖 − 𝑥̅ )2

Ainsi, connaissant cette expression de la variance, on peut facilement montrer

que celle-ci tend vers 0 lorsque n tend vers l’infini. En effet :
𝑛

𝑛 → ∞  ∑(𝑥𝑖 − 𝑥̅ )2 → ∞ 
𝑖=1
𝜎𝜀2
→0𝑉𝐴𝑅(𝛽̂1 ) =
∞
Ce qui permet donc de démontrer l’estimateur 𝛽̂1 est convergent.

En suivant la même démarche, on peut montrer que 𝛽̂0 est aussi un estimateur
convergent car :

1 𝑥̅ 2
̂ 2
𝑉𝐴𝑅(𝛽0 ) = 𝜎𝜀 [ + 𝑛 ]
𝑛 ∑𝑖=1(𝑥𝑖 − 𝑥̅ )2

Ainsi, on peut montrer que :

𝑛

𝑛 → ∞  ∑(𝑥𝑖 − 𝑥̅ )2 → ∞ 
𝑖=1

𝑉𝐴𝑅(𝛽̂0 ) → 0

43
 Tableau 2.1 : Récapitulatif sur les paramètres
Expression Expression
Estimateur Espérance Variance
simple développée
1 𝑥̅ 2
𝑠 𝛽̂0 = 𝑦̅ − 𝛽̂1 𝑥̅ 𝛽0 + (𝛽1 − 𝛽̂1 )𝑥̅ + 𝜀̅ 𝛽0 𝜎𝜀2 [ + 𝑛 ]
𝑛 ∑𝑖=1(𝑥𝑖 − 𝑥̅ )2

∑𝑛𝑖=1(𝑥𝑖 − 𝑥̅ )(𝑦𝑖 − 𝑦̅) ∑𝑛𝑖=1(𝑥𝑖 − 𝑥̅ )𝜀𝑖 𝜎𝜀2

𝛽̂1 𝛽1 + 𝛽1
∑𝑛𝑖=1(𝑥𝑖 − 𝑥̅ )2 ∑𝑛𝑖=1(𝑥𝑖 − 𝑥̅ )2 ∑𝑛𝑖=1(𝑥𝑖 − 𝑥̅ )2

∑𝑛𝑖=1 𝜀̂𝑖 2 ∑𝑛𝑖=1(𝑦𝑖 − 𝑦̂)

𝑖
2
𝜎̂𝜀2 𝜎𝜀2
𝑛 − (𝑘 + 1) 𝑛 − (𝑘 + 1)

𝜎𝜀2 𝑥̅
𝐶𝑂𝑉(𝛽̂0 , 𝛽̂1 ) = − (2.27)
∑𝑛𝑖=1(𝑥𝑖 − 𝑥̅ )2

2.3. Inférence statistique

Jusque maintenant, nous avons étudié les estimateurs et leur variance. Mais
pour pouvoir faire des tests ou établir des intervalles de confiance, il faut disposer
de toute la distribution des estimateurs. C’est pourquoi cette section se focalise
sur l’étude des distributions des paramètres estimés.

2.3.1. Les lois de distributions des paramètres estimés

2.3.1.1. Distribution de la variance estimée de l'erreur

Il apparaît important de connaître la distribution de la variance estimée de

l'erreur pour pouvoir déterminer la distribution des coefficients estimés lorsque
nous introduirons 𝜎𝜀2 dans les expressions de leur variance. En effet, on sait par
hypothèse que : 𝜀𝑖 ↝ 𝑁(0, 𝜎𝜀2 ). Avec le théorème centrale limite sur 𝜀𝑖 , on a :
𝜀𝑖
↝ 𝑁(0,1)
𝜎𝜀

Et comme 𝜀̂𝑖 est une réalisation de 𝜀𝑖 , il en vient que :

𝜀̂𝑖
↝ 𝑁(0,1)
𝜎𝜀̂

En passant l’opérateur de somme au carré de cette expression, on obtient une

distribution à 𝜒 2 (𝑛 − 𝑘 − 1) où 𝑘 est le nombre de variables explicatives et 𝑘 + 1
le nombre de paramètres à estimer. Ainsi, on a :

𝑛
𝜀̂𝑖 2
∑( ) ↝ 𝜒 2 (𝑛 − 𝑘 − 1)
𝜎𝜀̂
𝑖=1

44
 ∑𝑛𝑖=1 𝜀̂𝑖 2
↝ 𝜒 2 (𝑛 − 𝑘 − 1
𝜎𝜀̂2

∑𝑛𝑖=1(𝑦𝑖 − 𝑦̂)
𝑖
2
↝ 𝜒 2 (𝑛 − 𝑘 − 1)
𝜎𝜀̂2

Ou, de manière équivalente, en se référant à l'estimateur de la variance de

l'erreur, on a :

𝜎̂𝜀̂2 𝜒 2 (𝑛 − 𝑘 − 1)
↝ (2.28)
𝜎𝜀̂2 (𝑛 − 𝑘 − 1)

∑𝑛 ̂𝑖 )2
𝑖=1(𝑦𝑖 −𝑦
Avec 𝜎̂𝜀̂2 =
𝑛−(𝑘+1)

2.3.1.2. Distribution des coefficients estimés

Lorsque la variance des erreurs est connue, les coefficients estimés suivent une
loi normale.

Pour le coefficient 𝛽̂0, on a :

𝛽̂0 ↝ 𝑁(𝛽0 , 𝜎𝛽̂20 )

1 𝑥̅ 2
où 𝜎𝛽̂20 = 𝜎𝜀2 [𝑛 + ∑𝑛 2
]
𝑖=1(𝑥𝑖 −𝑥̅ )

Avec le théorème central limite, on peut réécrire :

𝛽̂0 − 𝛽0
( ) ↝ 𝑁(0,1)
𝜎𝛽̂0

Aussi, pour le coefficient 𝛽̂1 on peut écrire :

𝛽̂1 ↝ 𝑁(𝛽1 , 𝜎𝛽̂21 )

𝜎𝜀2
Où 𝜎𝛽̂21 = ∑𝑛 2
𝑖=1(𝑥𝑖 −𝑥̅ )

Avec le théorème central limite, on peut réécrire :

𝛽̂1 − 𝛽1
( ) ↝ 𝑁(0,1)
𝜎𝛽̂1

D’une manière générale quelle que soit la variable j lorsque 𝜎𝜀2 est connue, on
peut écrire :

45
 𝛽̂𝑗 − 𝛽𝑗
( ) ↝ 𝑁(0,1) (2.29)
𝜎𝛽̂𝑗

2.3.1.3. Distribution des variances des coefficients estimés

Soit le modèle estimé 𝑦̂𝑖 = 𝛽̂0 + 𝛽̂1 𝑥𝑖 . En considérant d’abord la constante, on sait
que :

1 𝑥̅ 2
𝜎𝛽̂20 = 𝜎𝜀̂2 [ + 𝑛 ]
𝑛 ∑𝑖=1(𝑥𝑖 − 𝑥̅ )2

Ainsi, on peut en déduire que :

1 𝑥̅ 2
𝜎̂𝛽̂20 = 𝜎̂𝜀̂2 [ + 𝑛 ]
𝑛 ∑𝑖=1(𝑥𝑖 − 𝑥̅ )2

En faisant le rapport entre ces deux expressions, on trouve :

1 𝑥̅ 2
𝜎̂𝜀̂2 [ + 𝑛
𝜎̂𝛽̂20 𝑛 ∑𝑖=1(𝑥𝑖 − 𝑥̅ )2 ] 𝜎̂𝜀̂2
= = 2
𝜎𝛽̂2 2 1 𝑥̅ 2 𝜎𝜀̂
0 𝜎𝜀̂ [ + 𝑛 ]
𝑛 ∑𝑖=1(𝑥𝑖 − 𝑥̅ )2

Ainsi, on peut poser l’égalité suivante :

𝜎̂𝛽̂20 𝜎̂𝜀̂2
= 2
𝜎𝛽̂2 𝜎𝜀̂
0

Cette équation signifie que le rapport entre la variance estimée et la vraie

variance de coefficient est égal au rapport entre la variance estimée et la vraie
̂2
𝜎 𝜒2 (𝑛−𝑘−1)
variance de l’erreur. Et puisque 𝜎𝜀̂2 ↝ , alors, on peut en déduire que :
𝜀̂ (𝑛−𝑘−1)

𝜎̂𝛽̂20 𝜎̂𝜀̂2 𝜒 2 (𝑛 − 𝑘 − 1)
= 2↝
𝜎𝛽̂2 𝜎𝜀̂ (𝑛 − 𝑘 − 1)
0

1 𝑥̅ 2 1 𝑥̅ 2
Avec 𝜎𝛽̂20 = 𝜎𝜀̂2 [𝑛 + ∑𝑛 2
] et 𝜎̂𝛽̂20 = 𝜎̂𝜀̂2 [𝑛 + ∑𝑛 2
]
𝑖=1(𝑥𝑖 −𝑥̅ ) 𝑖=1(𝑥𝑖 −𝑥̅ )

̂0 −𝛽0
𝛽
Par ailleurs, on sait que ( ) ↝ 𝑁(0,1). Et comme la loi de Student est définie
𝜎𝛽
̂ 0

comme le rapport entre une loi normale centrée réduite et la racine carrée d'une
loi du 𝜒 2 normalisée par ses degrés de liberté, on peut écrire que :

46
 𝛽̂ − 𝛽0
( 0
𝜎𝛽̂0 ) 𝑁(0,1)
=
𝜎̂𝛽̂
( 0) 𝜒 2 (𝑛 − 𝑘 − 1)
𝜎𝛽̂0 √
(𝑛 − 𝑘 − 1)

Cette expression permet donc de montrer que :

𝛽̂0 − 𝛽0
↝ 𝑇(𝑛 − 𝑘 − 1)
𝜎̂𝛽̂0

Et de manière analogue, on peut montrer que :

𝛽̂1 − 𝛽1
↝ 𝑇(𝑛 − 𝑘 − 1)
𝜎̂𝛽̂1

Ainsi, d’une manière générale, lorsque la variance des erreurs 𝜎𝜀̂2 n’est pas
connue et qu’il est estimé par 𝜎̂𝜀̂2 , pour chaque variable j, on peut écrire :

𝛽̂𝑗 − 𝛽𝑗
↝ 𝑇(𝑛 − 𝑘 − 1) (2.30)
𝜎̂𝛽̂𝑗

En utilisant cette expression sert à la fois dans les tests sur les coefficients mais
aussi dans de nombreux calculs tels que celui des intervalles de confiance de ces
paramètres.

2.3.2. Test de significativité des coefficients estimés

2.3.3.1. Test de significativité de 𝜷𝟎

Test bilatéral

Ce test se formule avec l’hypothèse suivante :

𝐻0 𝛽0 = 0
{
𝐻1 𝛽0 ≠ 0
̂0 −𝛽0
𝛽
Connaissant la distribution de probabilité de ̂𝛽
, on peut calculer la statistique
𝜎 ̂
0

de Student sous H0 comme suit :

𝛽̂0 − 0 𝛽̂0
𝑡𝛽̂0 = = (2.31)
𝜎̂𝛽̂0 𝜎̂𝛽̂0

On peut simplement constater que la statistique de Student est égale au rapport

entre la valeur estimée du coefficient et la valeur estimée de l’écart-type (racine
carrée de la variance estimée). Cela correspond au rapport entre une variable

47
suivant une loi normale et une variable suivant une loi de khi-deux. Cette
statistique suit dont une loi de Student à (𝑛 − 𝑘 − 1) degré de libertés (égale à 𝑛 −
2 dans le cas du modèle linéaire simple où 𝑘 = 1).

Puisqu’il s’agit ici d’un test bilatéral, la région critique sera déterminée à gauche
et à droite de 0. Par ailleurs, la loi de Student est une loi symétrique, c'est-à-dire
que la probabilité d’une fractile positive est égale à la probabilité de la fractile
opposée (négative). Par conséquent on considère la valeur absolue de la
statistique de Student. Ainsi, le seuil critique du test sera divisé en deux valeurs
(les deux parties symétriques de la distribution). Dès la statistique de Student
∗
sera défini par rapport à 𝑡1− 𝛼 qui représente la statistique lue dans la table de
2
Student en considérant le nombre de degré de liberté (𝑛 − 𝑘 − 1).
∗
Ainsi, si |𝑡𝛽̂0 | > 𝑡1− 𝛼 , ce qui implique la p.value 𝑝0 du test sera inférieure à 𝛼.
2
Dans ce cas, on rejette l’hypothèse de nullité du coefficient. En revanche, si
∗
|𝑡𝛽̂0 | < 𝑡1− 𝛼 , cela implique que la p.value 𝑝0 est supérieure à 𝛼. Dans ce cas, on ne
2

peut pas rejeter l’hypothèse de nullité du coefficient.

De manière analogue, on peut mettre en œuvre le test significativité sur le

coefficient 𝛽1.

Test unilatéral

Le test bilatéral se contente de tester si le paramètre estimé est égal ou pas à une
valeur donnée. Mais au cas où l’hypothèse nulle est rejetée, il ne permet pas de
dire si le paramètre estimé est inférieure ou supérieure à la valeur spécifiée. Le
test unilatéral vise à examiner une telle éventualité. Par exemple, on veut tester
si un paramètre 𝛽𝑘 est égal à une valeur fixée 𝛽0,𝑘 , contre l’hypothèse alternative
qu’il est strictement supérieur à cette valeur. L’hypothèse nulle s’écrit donc H0 :
𝛽𝑘 = 𝛽0,𝑘 , contre l’hypothèse alternative Ha : 𝛽𝑘 > 𝛽0,𝑘 . Dans cette configuration,
on calcule la statistique de test de Student comme suit :

𝛽̂𝑘 − 𝛽0,𝑘
𝑡𝛽̂𝑘 = (2.32)
𝜎̂𝛽̂𝑘
Et on compare cette statistique à la valeur lue dans la table de Student au seuil
∗
de 1 − 𝛼 et à (𝑛 − 𝑘 − 1)degrés de libertés 𝑡1−𝛼 .
∗
Si 𝑡𝛽̂𝑘 > 𝑡1−𝛼 , cela signifie que la p.value 𝑝0 est inférieure à 𝛼. Dans ce cas, on
rejette l’hypothèse nulle. En revanche, lorsque 𝑡𝛽̂𝑘 < 𝑡1−𝛼
∗
, cela signifie que la
p.value 𝑝0 est supérieure à 𝛼. On ne peut donc pas rejeter l’hypothèse nulle.

En revanche si on veut tester que le paramètre 𝛽𝑘 est égal à une valeur fixée 𝛽0,𝑘 ,
contre l’hypothèse alternative qu’il est strictement inférieur à cette valeur.
48
L’hypothèse alternative devient Ha : 𝛽𝑘 < 𝛽0,𝑘 . Dans cette configuration, on
calcule toujours la statistique de test de Student comme suit :
𝛽̂𝑘 − 𝛽0,𝑘
𝑡𝛽̂𝑘 =
𝜎̂𝛽̂𝑘
Et on compare cette statistique à l’opposé de la valeur lue dans la table de
∗
Student au seuil de 1 − 𝛼 et à (𝑛 − 𝑘 − 1)degrés de libertés −𝑡1−𝛼
∗
Dès lors, si 𝑡𝛽̂𝑘 < −𝑡1−𝛼 , ce qui signifie aussi que la p.value 𝑝0 est inférieure à 𝛼.
Dans ce cas, on rejette l’hypothèse nulle. En revanche, lorsque 𝑡𝛽̂𝑘 > −𝑡1−𝛼
∗
, cela
signifie que la p.value 𝑝0 est supérieure à 𝛼. Dans ce cas, on ne peut pas rejeter
l’hypothèse nulle.

Remarque sur la lecture de la p.value dans une table de Student

La p.value 𝑝0 se détermine à partir de la table de Student en lisant la probabilité

correspondant à la fractile |𝑡𝛽̂0 | compte tenu du nombre de degré de liberté. Pour
∗
déterminer la p.value, on fait le chemin inverse qui a permis de déterminer 𝑡1− 𝛼.
2

𝛼, on s’est servit de 𝛼 et du nombre de degré de

∗
En effet, pour déterminer 𝑡1−
2
∗
liberté (𝑛 − 𝑘 − 1) pour lire 𝑡1− 𝛼 . Mais pour déterminer la p.value 𝑝0 , on se sert de
2

|𝑡𝛽̂0 | et du nombre de degré de liberté (𝑛 − 𝑘 − 1) pour lire la valeur de la

probabilité correspondante. Se référer au chapitre 1 à la section 1.6 qui donne les
indications de lecture d’une table statistique pour déterminer soit le fractile
(valeur de la statistique) soit la probabilité (p.value).

2.3.3.2. Test de significativité globale du modèle

Pour tester la significativité globale du modèle, on se base sur la statistique F :

𝑆𝐶𝐸
(𝑛 − 𝑘) − (𝑛 − 𝑘 − 1)
𝐹𝑝,𝑞 = (2.33𝑎)
𝑆𝐶𝑅
(𝑛 − 𝑘)

Où 𝑘 est le nombre de variables explicatives (sans la constante) ; (𝑛 − 𝑘) −

(𝑛 − 𝑘 − 1) = 1. Avec p et q le nombre de degrés de libertés du dénominateur et
numérateur. Ici 𝑝 = 𝑛 − 𝑘 et 𝑞 = 1.

𝑆𝐶𝐸
𝐹𝑝,𝑞 = 1
𝑆𝐶𝑅
(𝑛 − 𝑘)

Cette statistique indique la mesure dans laquelle la variance expliquée est

significativement supérieure à la variance résiduelle. Dans ce cas, on peut

49
considérer que l'explication emmenée par la régression traduit une relation qui
existe réellement dans la population

Test à partir du coefficient de détermination

Le test de significativité peut également se faire à partir du coefficient de

détermination. La statistique du Fisher se présente alors comme suit :

𝑅²
𝐹= 1 (2.33𝑏)
(1 − 𝑅²)
(𝑛 − 𝑘)

Calcul en utilisant la distribution sous H0.

Il existe une troisième approche de test de significativité globale qui consiste à

utiliser la distribution des sommes des carrés des résidus sous H0 (Tous les
coefficients sont nuls sauf la constante). Sous H0, la SCE est distribué selon un
𝜒 2 (1) et SCR selon un 𝜒 2 (𝑛 − 𝑘) de fait pour F nous avons :

𝜒 2 ((𝑛 − 𝑘) − (𝑛 − 𝑘 − 1))
𝐹= 1 (2.33𝑐)
𝜒 2 (𝑛 − 𝑘)
(𝑛 − 𝑘)

Règles de décision

La région critique du test, correspondant au rejet de H0, au risque 𝛼 est définie

pour les valeurs anormalement élevées de F c.-à-d :

𝐹 > 𝐹1−𝛼 (1, 𝑛 − 𝑘)

Décision à partir de la p-value 𝑝0 . La p-value 𝑝0 correspond à la probabilité que la

loi de Fisher dépasse la statistique calculée F. Ainsi, la règle de décision au
risque 𝛼 devient : 𝑝0 < 𝛼

Si 𝐹 > 𝐹1−𝛼 (1, 𝑛 − 𝑘), ce qui implique que 𝑝0 < 𝛼. Alors, on rejette H0.

2.3.3. Intervalle de confiance des paramètres estimés

Pour ne pas se limiter à une estimation ponctuelle 𝜃̂ d’un paramètre 𝜃, on préfère
généralement définir un intervalle [L ,U] dans lequel pourrait se trouver le
paramètre avec une certaine probabilité notée 1 − 𝛼 où 𝛼 est le seuil d’erreur.

Soit 𝛽̂ l’estimateur d’un paramètre 𝛽. On souhaite déterminer un intervalle de

confiance du paramètre 𝛽. Pour cela, on suit la démarche suivante :

50
 ̂ −𝛽
𝛽
On sait que : ̂𝛽
𝜎
↝ 𝑇(𝑛 − 𝑘 − 1). Ainsi connaissant la valeur de 𝛼 on peut poser
̂

que :

𝛽̂ − 𝛽 ∗
𝑃 (| | > 𝑇1− 𝛼 (𝑛 − 𝑘 − 1)) = 𝛼
𝜎̂𝛽̂ 2

∗
Où 𝑇1− 𝛼 (𝑛 − 𝑘 − 1) représente la statistique lue dans la table de Student en
2

considérant le seuil d’erreur 𝛼 et le nombre de degré de liberté (𝑛 − 𝑘 − 1).

Dès lors l’intervalle de confiance se déduit de cette probabilité telle que :

𝛽̂ − 𝛽 ∗
𝑃 (| | > 𝑇1− 𝛼 (𝑛 − 𝑘 − 1)) = 1 − 𝛼
𝜎̂𝛽̂ 2

Soit :
∗ 𝛽̂ − 𝛽 ∗
𝑃 (−𝑇1− 𝛼 (𝑛 − 𝑘 − 1) < < 𝑇1− 𝛼 (𝑛 − 𝑘 − 1)) = 1 − 𝛼
2 𝜎̂𝛽̂ 2

D’où :
𝑃 (𝛽̂ − 𝑇1−
∗
̂𝛽̂ < 𝛽 < 𝛽̂ + 𝑇1−
𝛼 (𝑛 − 𝑘 − 1)𝜎
∗
𝛼 (𝑛 − 𝑘 − 1)𝜎
̂𝛽̂ ) = 1 − 𝛼
2 2

Ainsi, 1 − 𝛼 chance que 𝛽 soit compris entre 𝛽̂ − 𝑇1−

∗
𝛼 (𝑛 − 𝑘 − 1)𝜎
̂𝛽̂ et 𝛽̂ +
2
∗
𝑇1− ̂𝛽̂ . Ainsi l’intervalle de confiance de 𝛽 se définit comme suit :
𝛼 (𝑛 − 𝑘 − 1)𝜎
2

𝐼𝐶𝛽 = [𝛽̂ − 𝑇1−

∗
̂𝛽̂ ; 𝛽̂ + 𝑇1−
𝛼 (𝑛 − 𝑘 − 1)𝜎
∗
𝛼 (𝑛 − 𝑘 − 1)𝜎
̂𝛽̂ ] (2.34)
2 2

Dès lors, pour tout modèle estimé de type 𝑦̂𝑖 = 𝛽̂0 + 𝛽̂1 𝑥𝑖 , on peut fournir les
intervalles de confiance suivants :

𝐼𝐶𝛽0 = [𝛽̂0 − 𝑇1−

∗
̂𝛽̂0 ; 𝛽̂0 + 𝑇1−
𝛼 (𝑛 − 𝑘 − 1)𝜎
∗
𝛼 (𝑛 − 𝑘 − 1)𝜎
̂𝛽̂0 ]
2 2

𝐼𝐶𝛽1 = [𝛽̂1 − 𝑇1−

∗
̂𝛽̂1 ; 𝛽̂1 + 𝑇1−
𝛼 (𝑛 − 𝑘 − 1)𝜎
∗
𝛼 (𝑛 − 𝑘 − 1)𝜎
̂𝛽̂1 ]
2 2

∗
Où 𝑇1− 𝛼 (𝑛 − 𝑘 − 1) représente la statistique lue dans la table de Student en
2
considérant le seuil d’erreur 𝛼 et le nombre de degré de liberté (𝑛 − 𝑘 − 1).

51
2.3.4. Prédiction à l’intérieur de l’échantillon et intervalle de
confiance de la droite de régression
Déterminer l’intervalle de confiance de la droite de régression c’est fournir un
intervalle de confiance pour la valeur prédite 𝑦̂𝑖 à l’intérieur de l’échantillon qui a
servi à estimer les paramètres. Ce calcul se base essentiellement sur la valeur
estimée de la constante (qui représente la moyenne de 𝑦 lorsque 𝑥 = 0).

Soit 𝑦𝑖 = 𝛽0 + 𝛽1 𝑥𝑖 . L’estimation de ce modèle permet d’obtenir les valeur prédites

telles que 𝑦̂𝑖 = 𝛽̂0 + 𝛽̂1 𝑥𝑖 . La formule générale de l’intervalle de confiance de cette
droite se calcule comme suit :

1 (𝑥𝑖 − 𝑥̅ )
𝐼𝐶𝑦̂𝑖 = (𝛽̂1 𝑥𝑖 + 𝛽̂0 ) ± 𝑇1−
∗
𝛼 (𝑛 − 𝑘 − 1)𝜎
̂𝜀̂ √[ + ]
2 𝑛 ∑𝑛 (𝑥 − 𝑥̅ )2
𝑗=1 𝑗

1 (𝑥𝑖 −𝑥̅ )
La quantité ℎ𝑖 = [ + 𝑛 2 ] est appelée le levier (leverage). Elle permet
𝑛 ∑𝑗=1(𝑥𝑗 −𝑥̅ )

d’identifier les observations aberrantes. Ainsi avec ℎ𝑖 , on peut réécrire :

𝐼𝐶𝑦̂𝑖 = (𝛽̂1 𝑥𝑖 + 𝛽̂0 ) ± 𝑇1−

∗
𝛼 (𝑛 − 𝑘 − 1)𝜎
̂𝜀̂ √ℎ𝑖 (2.35)
2

NB : L’intervalle de confiance se calcule pour chaque individu 𝑖. Ainsi, en

représentant la série des bornes inférieures et la série des bornes supérieures, on
détermine l’intervalle de confiance de la droite estimée.

2.3.5. Prédiction hors-échantillon et erreur de prédiction

Le but ultime de l’estimation d’un modèle est de pouvoir réaliser des prédictions
de la variable 𝑦 pour un individu 𝑖 qui ne figure pas dans l’échantillon d’origine
(échantillon ayant servi à estimer les paramètres). Il s’agit alors d’une prédiction
hors-échantillon (out-of-sample). On distingue généralement deux types de
prédiction : une prédiction ponctuelle et ou une prédiction par intervalle de
confiance.

2.3.5.1. Prédiction ponctuelle de 𝒚 hors-échantillon

Soit 𝑥𝑖∗ la valeur de 𝑥 observée pour un individu 𝑖 n’appartenant pas à

l’échantillon initial. En partant du modèle 𝑦𝑖∗ = 𝛽0 + 𝛽1 𝑥𝑖∗ + 𝜀𝑖∗ , où 𝑦𝑖∗ n’est pas
observée, la prédiction ponctuelle hors-échantillon se fait en remplaçant 𝑥𝑖∗ dans
l’équation estimée telle que :

𝑦̂𝑖∗ = 𝛽̂0 + 𝛽̂1 𝑥𝑖∗

52
On peut facilement montrer que cette prédiction est sans biais. Pour cela on
montre soit que 𝐸(𝑦̂𝑖∗ ) = 𝑦𝑖∗ . En effet

𝐸(𝑦̂𝑖∗ ) = 𝐸(𝛽̂0 ) + 𝐸(𝛽̂1 )𝐸(𝑥𝑖∗ )

= 𝛽0 + 𝛽1 𝐸(𝑥𝑖∗ )

Avec 𝐸(𝑥𝑖∗ ) = 𝑥𝑖∗ , d’où :

𝐸(𝑦̂𝑖∗ ) = 𝛽0 + 𝛽1 𝑥𝑖∗ = 𝑦𝑖∗

L’estimation ponctuelle 𝑦̂𝑖∗ de 𝑦𝑖∗ est donc sans biais.

Ainsi, en utilisant l’équation 𝑦̂𝑖∗ = 𝛽̂0 + 𝛽̂1 𝑥𝑖∗ , on peut calculer l’erreur de
prédiction du modèle 𝜀̂𝑖∗ qui est la valeur estimée de 𝜀𝑖∗ (non observable). Ainsi, on
a:

𝜀̂𝑖∗ = 𝑦̂𝑖∗ − 𝑦𝑖∗

Là aussi, on peut montrer que l’erreur de prévision est en moyenne nulle c'est-à-
dire que 𝐸(𝜀̂𝑖∗ ) = 0. En effet, on sait que :

𝜀̂𝑖∗ = 𝑦̂𝑖∗ − 𝑦𝑖∗

= (𝛽̂0 +𝛽̂1 𝑥𝑖∗ ) − (𝛽0 + 𝛽1 𝑥𝑖∗ + 𝜀𝑖∗ )

𝜀̂𝑖∗ = (𝛽̂0 − 𝛽0 ) + (𝛽1 − 𝛽̂1 )𝑥𝑖∗ − 𝜀𝑖∗

On passant cette égalité à l’opérateur d’espérance, on a :

𝐸(𝜀̂𝑖∗ ) = 𝐸(𝛽̂0 − 𝛽0 ) + 𝐸(𝛽1 − 𝛽̂1 )𝐸(𝑥𝑖∗ ) − 𝐸(𝜀𝑖∗ )

𝐸(𝜀̂𝑖∗ ) = 0 + 0 × 𝐸(𝑥𝑖∗ ) + 0

𝐸(𝜀̂𝑖∗ ) = 0

En conclusion, pour obtenir une prévision ponctuelle et une estimation ponctuelle

de l’erreur de prédiction, on utilise respectivement les deux formules ci-dessous :

𝑦̂𝑖∗ = 𝛽̂0 + 𝛽̂1 𝑥𝑖∗ (2.36)

𝜀̂𝑖∗ = 𝑦̂𝑖∗ − 𝑦𝑖∗ (2.37)

2.3.5.2. Prédiction par intervalle de confiance de 𝒚 hors-échantillon

Pour construire l’intervalle de confiance de la prédiction de 𝑦 hors échantillon,

nous devons d’abord calculer l’intervalle de confiance de l’erreur de prédiction.
Pour cela, nous nous servons de la variance de l'erreur de prédiction et la loi de
distribution de l’erreur de prédiction.

53
Variance de l'erreur de prédiction

L’erreur de prévision théorique notée 𝜀𝑖∗ a une espérance nulle, 𝐸(𝜀𝑖∗ ) = 0 et une
variance 𝑉(𝜀𝑖∗ ) égale 𝜎𝜀2∗ = 𝐸[(𝜀𝑖∗ )2 ].
𝑖

Mais puisque l’erreur de prévision estimée 𝜀̂𝑖∗ est une réalisation de 𝜀𝑖∗ , il en vient
que 𝑉(𝜀̂𝑖∗ ) = 𝜎𝜀̂2∗ = 𝐸[(𝜀̂𝑖∗ )2 ]. Le développement de cette expression permet de
𝑖
montrer que :

1 (𝑥𝑖 − 𝑥̅ )
𝜎𝜀̂2∗ = 𝜎𝜀2 [1 + + ] (2.38)
𝑖 𝑛 ∑𝑛 (𝑥 − 𝑥̅ )2
𝑗=1 𝑗

Ce qui peut se réécrire telle que :

𝜎𝜀̂2∗ = 𝜎𝜀2 [1 + ℎ𝑖 ]
𝑖

1 (𝑥𝑖 −𝑥̅ )
Avec ℎ𝑖 = [ + 𝑛 2 ] appelée levier.
𝑛 ∑𝑗=1(𝑥𝑗 −𝑥̅ )

De là, on peut obtenir la variance estimée de l’erreur de prévision estimée comme

suit :

𝜎̂𝜀̂2∗ = 𝜎̂𝜀2 [1 + ℎ𝑖 ]
𝑖

Distribution de l'erreur de prédiction

𝜀𝑖∗
On sait par hypothèse que 𝜎𝜀∗
↝ 𝑁(0,1) (application du théorême central limite).
𝑖

Et comme 𝜀̂𝑖∗ est une réalisation de 𝜀𝑖∗, il en vient également que :

𝜀̂𝑖∗
↝ 𝑁(0,1)
𝜎𝜀̂𝑖∗

Ce qui permet d’écrire que :

𝜀̂𝑖∗ 𝑦̂𝑖∗ − 𝑦𝑖∗

= ↝ 𝑁(0,1)
𝜎𝜀̂𝑖∗ 𝜎𝜀̂𝑖∗

Tout comme pour les autres paramètres estimés du modèle, on sait aussi que le
rapport entre la variance estimée et la vraie variance suit une loi de khi-deux à
𝑛 − 𝑘 − 1. Dès lors, on peut écrire que :

𝜎̂𝜀̂2∗ 𝜒 2 (𝑛 − 𝑘 − 1)
𝑖
↝
𝜎𝜀̂2∗ (𝑛 − 𝑘 − 1)
𝑖

54
 ̂𝜀̂2∗
𝜎
𝜀̂ ∗ 𝜒2 (𝑛−𝑘−1)
On obtient alors deux distributions que sont : 𝜎 𝑖 ↝ 𝑁(0,1) et 𝑖
↝ .
𝜀̂∗𝑖 𝜎𝜀̂2∗ (𝑛−𝑘−1)
𝑖

Ainsi, en faisant le rapport entre une loi normale et la racine carrée d’une loi de
de khi-deux, on obtient une loi de student. On a :

𝜀̂𝑖∗
𝜎𝜀̂𝑖∗ 𝑁(0,1)
= ↝ 𝑇(𝑛 − 𝑘 − 1)
𝜎̂𝜀̂2∗ 𝜒 2 (𝑛
− 𝑘 − 1)
√ 2𝑖 √
𝜎𝜀̂∗ (𝑛 − 𝑘 − 1)
𝑖

𝜀̂𝑖∗
𝜎𝜀̂𝑖∗
↝ 𝑇(𝑛 − 𝑘 − 1)
𝜎̂𝜀̂𝑖∗
𝜎𝜀̂𝑖∗

Ce qui finalement donne :

𝜀̂𝑖∗
↝ 𝑇(𝑛 − 𝑘 − 1) (2.39)
𝜎̂𝜀̂𝑖∗

On en conclut alors que l’erreur de prévision suit une loi de student à 𝑛 − 𝑘 − 1

degrés de liberté. Dès lors, pour toute prédiction de type 𝑦̂𝑖∗ = 𝛽̂0 + 𝛽̂1 𝑥𝑖∗ , on peut
fournir un intervalle de confiance pour l’erreur de prévision 𝜀̂𝑖∗ comme suit :

∗ ∗
𝐼𝐶𝜀̂𝑖∗ = [−𝑇1− 𝛼 (𝑛 − 𝑘 − 1)𝜎
̂𝜀̂𝑖∗ ; 𝑇1− 𝛼 (𝑛 − 𝑘 − 1)𝜎
̂𝜀̂𝑖∗ ] (2.40)
2 2

∗
Où 𝑇1− 𝛼 (𝑛 − 𝑘 − 1) représente la statistique lue dans la table de Student en
2
considérant le seuil d’erreur 𝛼 et le nombre de degrés de liberté (𝑛 − 𝑘 − 1). Et où

𝜎̂𝜀̂2∗ = 𝜎̂𝜀2 [1 + ℎ𝑖 ]
𝑖

1 (𝑥𝑖 −𝑥̅ ) ∑𝑛 ̂𝑖2

𝑖=1 𝜀
Avec ℎ𝑖 = [ + 2 ] et 𝜎̂𝜀2 =
𝑛 ∑𝑛
𝑗=1(𝑥𝑗 −𝑥̅ )
𝑛−𝑘−1

Calcul de l’intervalle de confiance de la prédiction de 𝒚

Avec l’expression de l’intervalle de confiance de l’erreur de prédiction, on calcule

l’intervalle de confiance de la prédiction de 𝑦 comme suit :
∗
𝐼𝐶𝑦̂𝑖∗ = 𝑦̂𝑖∗ ± 𝑇1− 𝛼 (𝑛 − 𝑘 − 1)𝜎
̂𝜀̂𝑖∗ (2.41)
2

Avec 𝑦̂𝑖∗ = 𝛽̂0 + 𝛽̂1 𝑥𝑖∗

55
2.3.6. Linéarisation des modèles non-linéaires
Dans la plupart des cas, les modèles à estimer ne se présentent pas initialement
sous la forme linéaire. Il faut donc procéder à une linéarisation avant de mettre
en œuvre les techniques d’estimation. Les principaux types de modèles sont :

 Le modèle log-linéaire
𝛽
𝑦𝑖 = 𝑎0 𝑥𝑖 1

Pour linéariser ce modèle, on procède à une transformation logarithmique. Ainsi,

on a :

𝑙𝑛(𝑦𝑖 ) = 𝛽0 + 𝛽1 𝑙𝑛(𝑥𝑖 )

Avec 𝛽0 = 𝑙𝑛(𝑎0 )

 Le modèle exponentiel

𝑦𝑖 = 𝑒 (𝛽0 +𝛽1 𝑥𝑖 )

Là aussi, on procède à une transformation logarithmique pour linéariser ce

modèle :

𝑙𝑛(𝑦𝑖 ) = 𝛽0 + 𝛽1 𝑥𝑖

 Le modèle logarithmique

𝑦𝑖 = 𝛽0 + 𝛽1 𝑙𝑛(𝑥𝑖 )

Ce modèle peut être directement estimé car il se présente déjà sous forme
linéaire.

 Le modèle hyperbolique

𝛽
𝑦𝑖 = + 𝑦0𝑖
𝑥𝑖 − 𝑥0𝑖

Le modèle hyperbolique peut aussi être estimé car il est déjà linéaire1 en 𝛽.
L’équation se présente alors simplement comme suit :

𝑦̃𝑖 = 𝛽𝑥̃𝑖
1
Avec 𝑦̃𝑖 = 𝑦𝑖 − 𝑦0𝑖 et 𝑥̃𝑖 = 𝑥 −𝑥
𝑖 0𝑖

1
Il faut noter qu’on peut distinguer deux types de linéarité : la linéarité en fonction des
paramètres et la linéarité en fonction des variables. La linéarité dont il est question ici est
déterminée en fonction des paramètres et non en fonction des variables. C’est seulement la non-
linéarité des paramètre qui peut nécessiter une linéarisation du modèle.

56
  Le modèle logistique
𝑦𝑚𝑎𝑥,𝑖 − 𝑦𝑚𝑖𝑛,𝑖
𝑦𝑖 = 𝑦𝑚𝑖𝑛,𝑖 +
1 + 𝑒 (𝛽0 +𝛽1𝑥𝑖 )

Le modèle logistique est linéarisé en prenant le logarithme tel que :

𝑦𝑚𝑎𝑥,𝑖 − 𝑦𝑚𝑖𝑛,𝑖
𝑙𝑛 ( ) = 𝛽0 + 𝛽1 𝑥𝑖
𝑦 𝑖 − 𝑦𝑚𝑖𝑛,𝑖

La forme linéarisée du modèle logistique est :

𝑙𝑛(𝑦̃)
𝑖 = 𝛽0 + 𝛽1 𝑥𝑖

𝑦𝑚𝑎𝑥,𝑖 −𝑦𝑚𝑖𝑛,𝑖
Avec 𝑦̃𝑖 =
𝑦 𝑖 −𝑦𝑚𝑖𝑛,𝑖

 Le modèle parabolique

Le modèle parabolique se présente sous la forme suivante :

𝑦 𝑖 = 𝛽0 + 𝛽1 𝑥 𝑖 + 𝛽2 𝑥𝑖2

Ce modèle est déjà linéaire par rapport aux paramètres. Par conséquent, il n’y a
pas besoin de procéder à quelle que transformation que ce soit. Il faut
simplement noter, en revanche, que la relation entre 𝑥 et y n’est pas linéaire. Ici,
il s’agit d’une relation parabolique encore d’une relation quadratique.

2.4. Estimateur du maximum de vraisemblance

L’estimation par les moindres carrés ordinaires ne fait aucune hypothèse sur la
loi de distribution des perturbations aléatoires. Il est simplement supposé que
celles-ci sont indépendantes et identiquement distribuées. L’estimation par
maximum de vraisemblance consiste à faire une hypothèse sur la distribution de
probabilité de 𝜀𝑖 . En effet, on suppose, que les 𝜀𝑖 suivent une loi normale de
moyennes nulle et de variance 𝜎𝜀2 . En reprenant, l’équation (2.1) du modèle
linéaire initial, on a :

𝑦𝑖 = 𝛽0 + 𝛽1 𝑥𝑖 + 𝜀𝑖

L’hypothèse de normalité des résidus se présente comme suit :

𝜀𝑖 ↝ 𝑁(0, 𝜎𝜀2 )

Il faut aussi noter que comme 𝑦𝑖 = 𝛽0 + 𝛽1 𝑥𝑖 + 𝜀𝑖 et que 𝜀𝑖 ↝ 𝑁(0, 𝜎𝜀2 ) alors on

aura 𝑦𝑖 ↝ 𝑁(𝛽0 + 𝛽1 𝑥̅ , 𝜎𝜀2 ). Car :

57
 𝐸(𝑦𝑖 ) = 𝐸(𝛽0 + 𝛽1 𝑥𝑖 + 𝜀𝑖 ) = 𝐸(𝛽0 + 𝛽1 𝑥𝑖 ) + 𝐸(𝜀𝑖 ) = 𝛽0 + 𝛽1 𝑥̅

𝑉𝐴𝑅(𝑦𝑖 ) = 𝑉𝐴𝑅(𝛽0 + 𝛽1 𝑥𝑖 + 𝜀𝑖 ) = 𝑉𝐴𝑅(𝛽0 + 𝛽1 𝑥𝑖 ) + 𝑉𝐴𝑅(𝜀𝑖 ) = 𝜎𝜀2

Fonction de densité et fonction de vraisemblance

Une variable aléatoire 𝑍 est dite normale de moyenne 𝜇 et de variance 𝜎 2 si sa

densité vaut :

1 1 𝑧𝑖 − 𝜇 2
𝑓(𝑧𝑖 ) = exp (− ( ) ) (2.42)
𝜎√2𝜋 2 𝜎

Ainsi, en supposant que la variable 𝜀𝑖 suit une loi normale 𝑁(0, 𝜎𝜀2 ) et sachant
que : 𝑦𝑖 = 𝛽0 + 𝛽1 𝑥𝑖 + 𝜀𝑖 on peut spécifier sa fonction de densité telle que : 𝜀𝑖 =
𝑦𝑖 − 𝛽0 − 𝛽1 𝑥𝑖 . On aura alors :

1 1 𝑦𝑖 − 𝛽0 − 𝛽1 𝑥𝑖 2
𝑓(𝑦𝑖 ) = exp (− ( ) )
𝜎𝜀 √2𝜋 2 𝜎𝜀

Ainsi, pour estimer les paramètres 𝛽0 ,𝛽1 et 𝜎𝜀 par maximum de vraisemblance,

on pose d’abord l’expression de la fonction de vraisemblance. Pour 𝑛 observations
de la variable 𝑦𝑖 , la fonction de vraisemblance s’obtient en faisant le produit des n
fonction de densités, puisque les 𝑛 observations sont supposées indépendantes et
identiquement distribuées (hypothèse i.d.d) :

Ainsi, en notant par 𝐿(𝛽0 , 𝛽1 , 𝜎𝜀2 ), la fonction de vraisemblance, on a :

𝑛 𝑛
1 1
𝐿(𝛽0 , 𝛽1 , 𝜎𝜀2 ) = ∏ 𝑓(𝑦𝑖 ) = ∏ [ 1 exp (− (𝑦 − 𝛽0 − 𝛽1 𝑥𝑖 )2 )]
(2𝜋𝜎𝜀2 )2 2𝜎𝜀2 𝑖
𝑖=1 𝑖=1

𝑛
1 1
𝐿(𝛽0 , 𝛽1 , 𝜎𝜀2 ) = 𝑛 exp (− 2
∑(𝑦𝑖 − 𝛽0 − 𝛽1 𝑥𝑖 )2 )
(2𝜋𝜎 2 ) 2 2𝜎𝜀
𝜀 𝑖=1

Il est souvent plus facile de chercher à maximiser le logarithme de la fonction de

vraisemblance plutôt que la fonction elle-même, car le logarithme est une
transformation monotone croissante. Cette transformation n’a aucune incidence
sur les paramètres. Ainsi, en prenant le logarithme de la fonction de
vraisemblance, on a :
2
𝑛 𝑘
𝑛 𝑛 1
𝐿𝑜𝑔𝐿(𝛽0 , 𝛽1 , 𝜎𝜀2 ) = − log(2𝜋) − log(𝜎𝜀2 ) − 2 ∑ (𝑦𝑖 − 𝛽0 − ∑ 𝛽𝑗 𝑥𝑗 )
2 2 2𝜎𝜀
𝑖=1 𝑗=1

La méthode du maximum de vraisemblance consiste à choisir les paramètres

𝛽0 , 𝛽1 , 𝜎𝜀2 et 𝜎𝜀2 de sorte à maximiser cette fonction de log-vraisemblance. Pour

58
cela, il faut dériver la dérivée et retrouver les conditions de premier ordre afin
d’en déduire chacun des paramètres.

𝑛
𝜕𝐿𝑜𝑔𝐿(𝛽0 , 𝛽1 , 𝜎𝜀2 ) 2
= ∑(𝑦𝑖 − 𝛽0 − 𝛽1 𝑥𝑖 ) = 0
𝛽0 2𝜎𝜀2
𝑖=1

𝑛
𝜕𝑙(𝛽0 , 𝛽1 ) 2
= ∑(𝑦𝑖 − 𝛽0 − 𝛽1 𝑥𝑖 )𝑥𝑖 = 0
{ 𝛽1 2𝜎𝜀2
𝑖=1

On obtient un système de deux équations à deux inconnues, qui peuvent

également s’écrire :

𝑦̅ − 𝛽0 − 𝛽1 𝑥̅ = 0

𝑛 𝑛 𝑛

∑ 𝑥𝑖 𝑦𝑖 − 𝛽0 ∑ 𝑥𝑖 − 𝛽1 ∑ 𝑥𝑖 2 = 0
{ 𝑖=1 𝑖=1 𝑖=1

Ce qui permet donc de poser que 𝛽̂0 :

𝛽̂0 = 𝑦̅ − 𝛽1 𝑥̅ (2.43𝑎)

En remplaçant 𝛽̂0 par sa valeur dans la seconde équation divisée par n, on a :

𝑛 𝑛
1 1
∑ 𝑥𝑖 𝑦𝑖 − (𝑦̅ − 𝛽1 𝑥̅ )𝑥̅ − 𝛽1 ∑ 𝑥𝑖 2 = 0
𝑛 𝑛
𝑖=1 𝑖=1

𝑛 𝑛
1 1
∑ 𝑥𝑖 𝑦𝑖 − 𝑥̅ 𝑦̅ − 𝛽1 ( ∑ 𝑥𝑖 2 − 𝑥̅ 2 ) = 0
𝑛 𝑛
𝑖=1 𝑖=1

𝐶𝑂𝑉(𝑥, 𝑦) − 𝛽1 𝑉𝐴𝑅(𝑥) (2.43𝑏)

Ainsi la solution au problème de minimisation de la somme des carrés de résidus

se présente comme suit :

𝐶𝑂𝑉(𝑥, 𝑦)
𝛽̂1 = (2.44𝑎)
𝑉𝐴𝑅(𝑥)

{𝛽̂0 = 𝑦̅ − 𝛽̂1 𝑥̅ (2.44𝑏)

Ce qui montre bien que les estimateurs de maximum de vraisemblance sont

équivalents aux estimateurs des MCO lorsque les résidus sont normaux.

59
 CHAPITRE 3. LE MODELE LINEAIRE
MULTIPLE

L’équation générale du modèle linéaire se présente comme suit :

𝑦𝑖 = 𝛽0 + 𝛽1 𝑥𝑖1 + 𝛽2 𝑥𝑖2 + ⋯ + 𝛽𝑘 𝑥𝑖𝑘 + 𝜀𝑖 (3.1)

où 𝑦 représente la variable expliquée (encore appelée variable dépendante). 𝑥1 ,

𝑥2 … 𝑥𝑘 représentent les variables explicatives (encore appelée variable
indépendantes). 𝜀 représente une perturbation aléatoire ou les résidus. Les
coefficients 𝛽0, 𝛽1, 𝛽2,…, 𝛽𝑘 sont les paramètres à estimer. Ils représentent les
effets des variables explicatives sur les variables expliquées. Par exemple, 𝛽1
mesure l’impact de la variable 𝑥1 sur la variable 𝑦.

Il faut simplement remarquer que dans l’équation (3.1), les variables 𝑦 et 𝑥 sont
observées alors que les paramètres 𝛽0, 𝛽1, 𝛽2,…, 𝛽𝑘 et les perturbations aléatoires
sont inobservés.

3.1. Estimation par Moindre Carrés ordinaires

Comme pour le modèle linéaire simple, l’estimation du modèle linéaire multiple
par les Moindres Carrés Ordinaires (MCO) consiste à choisir les paramètres de
façons à minimiser la somme des carrés des résidus :
𝑛 𝑛
2
𝑙(𝛽0 , 𝛽1 , 𝛽2 , … , 𝛽𝑘 ) = Min ∑ 𝜀 = Min ∑(𝑦𝑖 − 𝛽0 − 𝛽1 𝑥𝑖1 − ⋯ − 𝛽𝑘 𝑥𝑖𝑘 )2
𝛽0 ,𝛽1
𝑖=1 𝑖=1

(3.2)

Le minimum de cette fonction s’obtient en annulant les dérivées partielles par

rapport à chacun des paramètres 𝛽0 , 𝛽1 , 𝛽2 , … , 𝛽𝑘 . Pour cela, il faut dériver la
fonction 𝑙(𝛽0 , 𝛽1 , 𝛽2 , … , 𝛽𝑘 ) par rapport à chacun de ses arguments pour en dériver
les conditions de premiers ordres qui forment les équations normales.

60
 𝑛
𝜕𝑙(. )
= −2 ∑(𝑦𝑖 − 𝛽0 − 𝛽1 𝑥𝑖1 − ⋯ − 𝛽𝑘 𝑥𝑖𝑘 ) = 0 (𝑖)
𝛽0
𝑖=1
𝑛
𝜕𝑙(. )
= −2 ∑ 𝑥𝑖1 (𝑦𝑖 − 𝛽0 − 𝛽1 𝑥𝑖1 − ⋯ − 𝛽𝑘 𝑥𝑖𝑘 ) = 0 (𝑖𝑖)
𝛽1
𝑖=1
𝑛
𝜕𝑙(. )
= −2 ∑ 𝑥𝑖2 (𝑦𝑖 − 𝛽0 − 𝛽1 𝑥𝑖1 − ⋯ − 𝛽𝑘 𝑥𝑖𝑘 ) = 0 (𝑖𝑖)
𝛽2
𝑖=1
…
…
𝑛
𝜕𝑙(. )
= −2 ∑ 𝑥𝑖𝑘 (𝑦𝑖 − 𝛽0 − 𝛽1 𝑥𝑖1 − ⋯ − 𝛽𝑘 𝑥𝑖𝑘 ) = 0 (… )
{ 𝛽𝑘 𝑖=1

Après simplification par -2, le développement des facteurs et la distribution de

l’opérateur somme, on obtient le suivant ci-dessous :
𝑛 𝑛 𝑛 𝑛

∑ 𝑦𝑖 − 𝑛𝛽0 − 𝛽1 ∑ 𝑥𝑖1 − 𝛽2 ∑ 𝑥𝑖2 − ⋯ − 𝛽𝑘 ∑ 𝑥𝑖𝑘 = 0 (𝑖)

𝑖=1 𝑖=1 𝑖=1 𝑖=1
𝑛 𝑛 𝑛 𝑛 𝑛

∑ 𝑥𝑖1 𝑦𝑖 − 𝛽0 ∑ 𝑥𝑖1 − 𝛽1 ∑(𝑥𝑖1 )2 − 𝛽2 ∑ 𝑥𝑖1 𝑥𝑖2 − ⋯ − 𝛽𝑘 ∑ 𝑥𝑖1 𝑥𝑖𝑘 = 0 (𝑖𝑖)

𝑖=1 𝑖=1 𝑖=1 𝑖=1 𝑖=1
𝑛 𝑛 𝑛 𝑛 𝑛

∑ 𝑥𝑖2 𝑦𝑖 − 𝛽0 ∑ 𝑥𝑖2 − 𝛽1 ∑ 𝑥𝑖2 𝑥𝑖1 − 𝛽2 ∑(𝑥𝑖2 )2 − ⋯ − 𝛽𝑘 ∑ 𝑥𝑖2 𝑥𝑖𝑘 = 0 (𝑖𝑖𝑖)

𝑖=1 𝑖=1 𝑖=1 𝑖=1 𝑖=1
…
…
𝑛 𝑛 𝑛 𝑛 𝑛

∑ 𝑥𝑖𝑘 𝑦𝑖 − 𝛽0 ∑ 𝑥𝑖𝑘 − 𝛽1 ∑ 𝑥𝑖𝑘 𝑥𝑖1 − 𝛽2 ∑ 𝑥𝑖𝑘 𝑥𝑖2 − ⋯ − 𝛽𝑘 ∑(𝑥𝑖𝑘 )2 = 0 (… )

{ 𝑖=1 𝑖=1 𝑖=1 𝑖=1 𝑖=1

On obtient alors un système k+1 équations (dites équations normales) à k+1

inconnues.

3.1.1. Résolution du système par substitution

Pour résoudre ce système, on procède par la méthode de substitution.

D’abord, on tire 𝛽0 de l’équation (𝑖) en divisant d’abord celle-ci par n. Ce qui

donne :

𝛽0 = 𝑦̅ − 𝛽1 ̅̅̅
𝑥1 − 𝛽2 ̅̅̅
𝑥2 − ⋯ − 𝛽𝑘 𝑥
̅̅̅𝑘

Ensuite, on remplace 𝛽0 par son expression dans toutes les autres équations.
Ensuite, on tire 𝛽1 de l’équation (𝑖𝑖) et l’on replace par sa valeur dans toutes les
autres équations. Ce processus de substitution continue jusqu’à obtenir 𝛽𝑘 dont la
valeur ne dépend plus que des expressions connues. Dès lors, après avoir calculé
𝛽𝑘 , on peut calculer 𝛽𝑘−1 et ainsi de suite jusqu’à 𝛽0 tel que :

61
 𝛽0 = 𝑦̅ − 𝛽̂1 𝑥
̅̅̅1 − 𝛽̂2 ̅̅̅
𝑥2 − ⋯ − 𝛽̂𝑘 ̅̅̅
𝑥𝑘 (3.3)

Cette méthode de résolution s’avère très longue et couteuse en calcul, c’est

pourquoi, on lui préfère la méthode matricielle de résolution. La mise en œuvre
de la méthode matricielle nécessite d’abord une écriture matricielle des données.

3.1.2. Représentation matricielle des données

La représentation matricielle des données est une étape fondamentale dans
l’estimation des paramètres dans le modèle linéaire multiple. En considérant,
l’équation (3.1) mettant en relation une variable dépendante 𝑦 un ensemble de K
variables explicatives auquel on adjoint une constante, si l’on dispose de N
observations sur chacune de ces variables, on peut proposer une formulation
matricielle de l’équation (3.1).

D’abord l’empilement des n observations permet d’obtenir un vecteur-colonne

c’est à dire une matrice à n lignes et une colonne. Ce vecteur sera noté 𝑌 avec :
𝑦1
𝑦2
𝑌=( . ) (3.4𝑎)
.
𝑦𝑛

Notons que cette notation est équivalente à l’expression :

𝑌 = (𝑦1 , 𝑦2 , … , … 𝑦𝑛 )′ (3.4𝑏)

Cette deuxième notation de 𝑌 se présente sous la forme du transposé d’un

vecteur-ligne.

Les 𝑘 variables de l’équation (1) peuvent également s’écrire sous la forme

matricielle. Mais, dans un premier temps, on présente la matrice sans prendre en
compte la constante 𝛽0 , la matrice se présente comme suit :

𝑥11 𝑥12 … 𝑥1𝑘

… 𝑥2𝑘
𝑋 = (𝑥…
21 𝑥22
… … …) (3.5)
𝑥𝑛1 𝑥𝑛2 … 𝑥𝑛𝑘

Sans prendre en compte le paramètre 𝛽0, la matrice X a pour dimension N × K.

En prenant en compte le paramètre 𝛽0, on insère un vecteur colonne rempli de 1

dans la matrice 𝑋. Ainsi, la matrice 𝑋 devient :
1 𝑥11 𝑥12 … 𝑥1𝑘
1 𝑥21 𝑥22 … 𝑥2𝑘
𝑋 = (… … … … … ) (3.6)
… … … … …
1 𝑥𝑛1 𝑥𝑛2 … 𝑥2𝑘

62
Avec la prise en compte du paramètre 𝛽0 , la matrice 𝑋 a finalement pour
dimension N × (K + 1).

La série des 𝜀𝑖 doit aussi être mise sous la forme matricielle. Celle-ci se présente
sous la forme d’un vecteur-colonne ou sous la forme de transposé d’un vecteur-
ligne. On a alors:
𝜀1
𝜀2
𝜖 = ( . ) = (𝜀1 , 𝜀2 , … , … 𝜀𝑛 )′ (3.7)
.
𝜀𝑛

En fin les coefficients peuvent être regroupés sous une forme matrice,
principalement sous la forme d’un vecteur-colonne. Cette représentation des
coefficients se fait comme suit :

𝛽0
𝛽1
𝛽 = 𝛽2 (3.8)
..
(𝛽𝑘 )
En rassemblant ces différent éléments avec leur nouvelles formulations,
l’équation (1) se présente comme suit :

𝛽 0
𝑦1 1 𝑥11 𝑥12 … 𝑥1𝑘 𝜀1
𝑦2 𝑥22 … 𝑥2𝑘 𝛽 𝜀2
1 𝑥21 1
( . ) = (… … … … … ) 𝛽 +( . ) (3.9)
. … … … … … ..2 .
𝑦𝑛 1 𝑥𝑛1 𝑥𝑛2 … 𝑥2𝑘 𝜀𝑛
(𝛽 𝑘 )

Ainsi, de façon synthétique, l’équation se présente comme suit :

𝑌 =𝑋𝛽+𝜖 (3.10)

L’estimation de l’équation (3.10) par les moindres carrés ordinaires consiste à

minimiser la somme des carrés des résidus qui constitue le vecteur 𝜖. L’équation
de minimisation se présente comme suit :
𝑛

𝐿(𝛽) = Min ∑ 𝜀𝑖 2 = Min 𝜖 ′ 𝜖 = Min(𝑌 − 𝑋 𝛽)′(𝑌 − 𝑋 𝛽)

𝛽0 ,𝛽1,𝛽2 …𝛽𝑘 𝛽 𝛽
𝑖=1

(3.11)

63
Il faut simplement noter que comme 𝜖 = 𝑌 − 𝑋 𝛽, alors 𝜖′𝜖 représente la forme
matricielle de la somme des carrés des résidus ∑𝑛𝑖=1 𝜀𝑖 2 . En effet, une matrice
multipliée par sa transposée donne toujours la somme des carrés de ses éléments.

Pour obtenir le minimum de 𝐿(𝛽), on annule le vecteur des dérivées matricielles :

𝜕𝐿(𝛽)
= −2𝑋′(𝑌 − 𝑋 𝛽) = 0 (3.12)
𝛽

Ce qui donne :

𝑋′𝑋 𝛽 = 𝑋′𝑌 (3.13)

Cette expressions traduit la matrice des équations normales.

En multipliant, les deux membres de l’équation par l’inverse de 𝑋 ′ 𝑋, c'est-à-dire

(𝑋 ′ 𝑋)−1, on trouve 𝛽 telque :

𝛽 = (𝑋 ′ 𝑋)−1 𝑋 ′ 𝑌 (3.14)

3.1.3. Correspondance entre la méthode de substitution et la

méthode matricielle
Pour trouver la correspondance entre la méthode de substitution et la méthode
matricielle, on part des équations normales qui forment le système d’équations
𝑛 𝑛 𝑛 𝑛

∑ 𝑦𝑖 − 𝑛𝛽0 − 𝛽1 ∑ 𝑥𝑖1 − 𝛽2 ∑ 𝑥𝑖2 − ⋯ − 𝛽𝑘 ∑ 𝑥𝑖𝑘 = 0 (𝑖)

𝑖=1 𝑖=1 𝑖=1 𝑖=1
𝑛 𝑛 𝑛 𝑛 𝑛

∑ 𝑥𝑖1 𝑦𝑖 − 𝛽0 ∑ 𝑥𝑖1 − 𝛽1 ∑(𝑥𝑖1 )2 − 𝛽2 ∑ 𝑥𝑖1 𝑥𝑖2 − ⋯ − 𝛽𝑘 ∑ 𝑥𝑖1 𝑥𝑖𝑘 = 0 (𝑖𝑖)

𝑖=1 𝑖=1 𝑖=1 𝑖=1 𝑖=1
𝑛 𝑛 𝑛 𝑛 𝑛

∑ 𝑥𝑖2 𝑦𝑖 − 𝛽0 ∑ 𝑥𝑖2 − 𝛽1 ∑ 𝑥𝑖2 𝑥𝑖1 − 𝛽2 ∑(𝑥𝑖2 )2 − ⋯ − 𝛽𝑘 ∑ 𝑥𝑖2 𝑥𝑖𝑘 = 0 (𝑖𝑖𝑖)

𝑖=1 𝑖=1 𝑖=1 𝑖=1 𝑖=1
…
…
𝑛 𝑛 𝑛 𝑛 𝑛

∑ 𝑥𝑖𝑘 𝑦𝑖 − 𝛽0 ∑ 𝑥𝑖𝑘 − 𝛽1 ∑ 𝑥𝑖𝑘 𝑥𝑖1 − 𝛽2 ∑ 𝑥𝑖𝑘 𝑥𝑖2 − ⋯ − 𝛽𝑘 ∑(𝑥𝑖𝑘 )2 = 0 (… )

{ 𝑖=1 𝑖=1 𝑖=1 𝑖=1 𝑖=1

Regroupons d’un côté les membres qui contiennent les paramètres, on a :

64
 𝑛 𝑛 𝑛 𝑛

𝑛𝛽0 + 𝛽1 ∑ 𝑥𝑖1 + 𝛽2 ∑ 𝑥𝑖2 + ⋯ + 𝛽𝑘 ∑ 𝑥𝑖𝑘 = ∑ 𝑦𝑖 (𝑖)

𝑖=1 𝑖=1 𝑖=1 𝑖=1
𝑛 𝑛 𝑛 𝑛 𝑛

𝛽0 ∑ 𝑥𝑖1 + 𝛽1 ∑(𝑥𝑖1 )2 + 𝛽2 ∑ 𝑥𝑖1 𝑥𝑖2 + ⋯ + 𝛽𝑘 ∑ 𝑥𝑖1 𝑥𝑖𝑘 = ∑ 𝑥𝑖1 𝑦𝑖 (𝑖𝑖)

𝑖=1 𝑖=1 𝑖=1 𝑖=1 𝑖=1
𝑛 𝑛 𝑛 𝑛 𝑛

𝛽0 ∑ 𝑥𝑖2 + 𝛽1 ∑ 𝑥𝑖2 𝑥𝑖1 + 𝛽2 ∑(𝑥𝑖2 )2 + ⋯ + 𝛽𝑘 ∑ 𝑥𝑖2 𝑥𝑖𝑘 = ∑ 𝑥𝑖2 𝑦𝑖 (𝑖𝑖𝑖)

𝑖=1 𝑖=1 𝑖=1 𝑖=1 𝑖=1
…
…
𝑛 𝑛 𝑛 𝑛 𝑛

𝛽0 ∑ 𝑥𝑖𝑘 + 𝛽1 ∑ 𝑥𝑖𝑘 𝑥𝑖1 + 𝛽2 ∑ 𝑥𝑖𝑘 𝑥𝑖2 + ⋯ + 𝛽𝑘 ∑(𝑥𝑖𝑘 )2 = ∑ 𝑥𝑖𝑘 𝑦𝑖 (… )

{ 𝑖=1 𝑖=1 𝑖=1 𝑖=1 𝑖=1

A partir de cette formulation, on construit une forme matricielle qui se présente

comme suit :
𝑛 𝑛 𝑛 𝑛

𝑛 ∑ 𝑥𝑖1 ∑ 𝑥𝑖2 … … ∑ 𝑥𝑖𝑘 𝛽0 ∑ 𝑦𝑖

𝑖=1 𝑖=1 𝑖=1 𝑖=1
𝑛 𝑛 𝑛 𝑛 𝑛
𝛽1
∑ 𝑥𝑖1 ∑(𝑥𝑖1 )2 ∑ 𝑥𝑖1 𝑥𝑖2 … … ∑ 𝑥𝑖1 𝑥𝑖𝑘 ∑ 𝑥𝑖1 𝑦𝑖
𝑖=1 𝑖=1 𝑖=1 𝑖=1 𝑖=1
𝑛 𝑛 𝑛 𝑛 𝛽2 = 𝑛

∑ 𝑥𝑖2 ∑ 𝑥𝑖2 𝑥𝑖1 ∑(𝑥𝑖2 )2 ∑ 𝑥𝑖2 𝑥𝑖𝑘 … ∑ 𝑥𝑖2 𝑦𝑖

… …
𝑖=1 𝑖=1 𝑖=1 𝑖=1 𝑖=1
…
… …
… …
… … … …
… … …
…
𝑛 𝑛 𝑛 … 𝑛 𝑛
…
∑ 𝑥𝑖𝑘 ∑ 𝑥𝑖𝑘 𝑥𝑖1 ∑ 𝑥𝑖𝑘 𝑥𝑖2 ∑(𝑥𝑖𝑘 )2 (𝛽𝑘 ) ∑ 𝑥𝑖𝑘 𝑦𝑖
( 𝑖=1 𝑖=1 𝑖=1 𝑖=1 ) ( 𝑖=1 )

Avec cette forme, on peut en déduire la correspondance suivante :

𝑛 𝑛 𝑛

𝑛 ∑ 𝑥𝑖1 ∑ 𝑥𝑖2 … … ∑ 𝑥𝑖𝑘

𝑖=1 𝑖=1 𝑖=1
𝑛 𝑛 𝑛 𝑛

∑ 𝑥𝑖1 ∑(𝑥𝑖1 )2 ∑ 𝑥𝑖1 𝑥𝑖2 … … ∑ 𝑥𝑖1 𝑥𝑖𝑘

𝑖=1 𝑖=1 𝑖=1 𝑖=1
𝑛 𝑛 𝑛 𝑛 = 𝑋′𝑋 ;
∑ 𝑥𝑖2 ∑ 𝑥𝑖2 𝑥𝑖1 ∑(𝑥𝑖2 )2 ∑ 𝑥𝑖2 𝑥𝑖𝑘
… …
𝑖=1 𝑖=1 𝑖=1 𝑖=1
…
… …
… …
… … … …
…
𝑛 𝑛 𝑛 … 𝑛
…
∑ 𝑥𝑖𝑘 ∑ 𝑥𝑖𝑘 𝑥𝑖1 ∑ 𝑥𝑖𝑘 𝑥𝑖2 ∑(𝑥𝑖𝑘 )2
( 𝑖=1 𝑖=1 𝑖=1 𝑖=1 )

65
 𝑛

∑ 𝑦𝑖
𝑖=1
𝑛

∑ 𝑥𝑖1 𝑦𝑖 𝛽0
𝑖=1 𝛽1
𝑛 = 𝑋′𝑌 ; 𝛽2 = 𝛽
∑ 𝑥𝑖2 𝑦𝑖 …
𝑖=1
𝛽
( 𝑘)
…
…
𝑛

∑ 𝑥𝑖𝑘 𝑦𝑖
( 𝑖=1 )

Avec cette décomposition, on constate que la matrice 𝑋 ′ 𝑋 est constituée dans sa

première colonne par la somme des variables, dans sa deuxième colonne par la
somme du croisement de la variable 𝑥𝑖1 avec les autres variables, dans la
troisième colonne par le croisement de la variable 𝑥𝑖2 avec les autres variables et
dans la dernière colonne par le croisement de la variable 𝑥𝑖𝑘 avec les autres
variables2.

On peut également constater que la matrice que la matrice 𝑋 ′ 𝑌 est un vecteur-

colonne dont les éléments sont la somme des croisements entre les colonnes de la
matrice X et les éléments de la matrice Y.

Par ailleurs, le modèle linéaire simple étant un cas particulier du modèle

multiple, on peut montrer que la forme matricielle des équations normales dans
le modèle linéaire simple se présente comme suit :
𝑛 𝑛

𝑛 ∑ 𝑥𝑖1 ∑ 𝑦𝑖
𝛽
𝑛
𝑖=1
𝑛 ( 0) = 𝑖=1
𝑛
𝛽1
∑ 𝑥𝑖 ∑(𝑥𝑖 )2 ∑ 𝑥𝑖 𝑦𝑖
( 𝑖=1 𝑖=1 ) ( 𝑖=1 )
𝑛 𝑛

𝑛 ∑ 𝑥𝑖1 ∑ 𝑦𝑖
𝛽
𝑛
𝑖=1
𝑛 = 𝑋′𝑋 ; 𝑖=1
𝑛 = 𝑋′𝑌 ; ( 0) = 𝛽
𝛽1
∑ 𝑥𝑖 ∑(𝑥𝑖 )2 ∑ 𝑥𝑖 𝑦𝑖
( 𝑖=1 𝑖=1 ) ( 𝑖=1 )

2
Il faut simplement noter le fait que la matrice X étant constituée dans sa première colonne par
des 1 alors la matrice X’X est, en réalité constituée dans sa première colonne par le croisement de
1 avec les autres variables. Ce qui équivaut à faire la somme de ces variables.
On peut aussi constater que la matrice X’X est une matrice symétrique dont la diagonale est
constituée de la somme des carrées des variables, car les éléments diagonaux correspondent aux
croisements des variables avec elles-mêmes.

66
3.1.4. Calcul des valeurs prédites
𝑌̂ = 𝑋 𝛽̂ (3.15)

Avec 𝛽̂ = (𝑋 ′ 𝑋)−1 𝑋 ′ 𝑌.

Le vecteur des valeurs ajustées peut être interprété comme la projection de 𝑌 sur
le sous-espace engendré par les colonnes de la matrice 𝑋.

𝑌̂ = 𝑃𝑋 𝑌 (3.16)

Où 𝑃𝑋 est l’opérateur de projection.

𝑃𝑋 = 𝑋(𝑋 ′ 𝑋)−1 𝑋 ′ (3.17)

3.1.5. Calcul des valeurs résiduelles

Le vecteur des résidus s’obtient simplement en faisant la différence entre le
vecteur des valeurs observées de 𝑌 et le vecteur de valeurs prédites 𝑌̂.

𝜖 = 𝑌 − 𝑌̂ (3.18)

Propriétés

Le vecteur des résidus 𝜖 est orthogonal à la fois au vecteur des valeurs prédites et
à la matrice 𝑋. Ce qui signifie mathématiquement que 𝜖′𝑌̂ = 0 et 𝜖′𝑋 = 0

3.1.6. Calcul de la variance totale, expliquée et résiduelle

Soit le vecteur-colonne 𝑌̅ rempli uniquement par la moyenne de la variable y
̅
𝑦
̅
𝑦 1
telle que : 𝑌̅ = ( . ) avec 𝑦̅ = ∑𝑛𝑖=1 𝑦𝑖 , la variance totale s’obtient par la formule
. 𝑛
̅
𝑦
suivante :

1
𝑆𝑌2 = (𝑌 − 𝑌̅)′(𝑌 − 𝑌̅) (3.19)
𝑛
Quant à la variance expliquée, elle s’obtient dans les configuration identiques en
remplaçant le vecteur des valeurs observées de 𝑌 par le vecteur de valeurs
prédites 𝑌̂. Ainsi, on a :

1
𝑆𝑌2̂ = (𝑌̂ − 𝑌̅)′(𝑌̂ − 𝑌̅) (3.20)
𝑛

La variance résiduelle s’obtient de la même manière, à la simple différence que la

moyenne des résidus étant nulle, ce facteur n’est pas inclus dans la formule. La
formule de la variance résiduelle se présente comme suit :

67
 1 ′ 1
𝑆𝜖2 = 𝜖 𝜖 = (𝑌 − 𝑌̂)′(𝑌 − 𝑌̂) (3.21)
𝑛 𝑛

Il faut simplement rappeler que la variance totale est la somme de la variance

expliquée et de la variance résiduelle. Par conséquent :

𝑆𝑌2 = 𝑆𝑌2̂ + 𝑆𝜖2 (3.22)

Calcul du coefficient de détermination :

2
𝑆𝑌2̂ 𝑆𝜖2
𝑅𝑥𝑦 = 2 = 1 − ( 2) (3.23)
𝑆𝑌 𝑆𝑌

La racine carrée du coefficient de détermination est appelée le coefficient de

corrélation multiple.

3.1.7. Matrice de variance-covariance

La matrice de variance-covariance est une matrice carrée qui contient les
covariances entre l’ensemble des variables explicatives prises deux à deux. En
considérant par exemple quatre variables 𝑥1 , 𝑥2 , 𝑥3 et 𝑥4 , la matrice de variance-
covariance se présente sous la forme suivante :

𝑥1 𝑥2 𝑥3 𝑥4

𝑥1 𝑆𝑥21 𝑆𝑥1 𝑥2 𝑆𝑥1 𝑥3 𝑆𝑥1 𝑥4

𝑥2 𝑆𝑥2 𝑥1 𝑆𝑥22 𝑆𝑥2 𝑥3 𝑆𝑥2 𝑥4

𝑥3 𝑆𝑥3 𝑥1 𝑆𝑥3 𝑥2 𝑆𝑥23 𝑆𝑥3 𝑥4

𝑥4 𝑆𝑥4 𝑥1 𝑆𝑥4 𝑥2 𝑆𝑥4 𝑥3 𝑆𝑥24

Les éléments sur la diagonale représentent les variances alors que les éléments
hors diagonale sont les covariances. La matrice de variance-covariance est une
matrice symétrique puisque 𝑆𝑥𝑗𝑥𝑘 = 𝑆𝑥𝑘𝑥𝑗 où 𝑆𝑥𝑗𝑥𝑘 représente la covariance entre
la variable 𝑥𝑗 et la variable 𝑥𝑘 . En utilisant une notation matricielle, la matrice
de variance-covariance se présente comme suit :

𝑆𝑥21 𝑆𝑥1 𝑥2 … 𝑆𝑥1 𝑥𝑘

𝑆𝑥22 … 𝑆𝑥2 𝑥𝑘
𝑆 = 𝑆𝑥…
2 𝑥1
… … … (3.24)
(𝑆𝑥𝑘𝑥1 𝑆𝑥𝑘𝑥2 … 𝑆𝑥2𝑘 )

68
3.1.8. La matrice de corrélation
La matrice des corrélations se présente sous le même format que la matrice de
variance-covariance en remplaçant les covariances 𝑆𝑥2 𝑥1 par les coefficients de
corrélation 𝑟𝑥𝑦 . Cependant sur les diagonales, les variances 𝑆𝑥21 seront remplacées
par 1 car le coefficient de corrélation d’une variable avec elle-même est égal à 1.
Ainsi la matrice de corrélation se présente comme suit :

1 𝑟𝑥1 𝑥2 … 𝑟𝑥1 𝑥𝑘
… 𝑟𝑥2 𝑥𝑘
𝑅 = (𝑟𝑥…
2 𝑥1
1
… … … ) (3.25)
𝑟𝑥𝑘𝑥1 𝑆𝑥𝑘𝑥2 … 1

La matrice de corrélation est une matrice symétrique puisque 𝑟𝑥𝑗𝑥𝑘 = 𝑟𝑥𝑘𝑥𝑗 où

𝑟𝑥𝑗𝑥𝑘 est le coefficient de corrélation entre la variable 𝑥𝑗 et la variable 𝑥𝑘 .

Exercices d’application

Exercice 1 : On considère le modèle suivant 𝑦𝑖 = 𝑏0 + 𝑏1 𝑥𝑖1 + 𝑏2 𝑥𝑖2 + 𝜀𝑖 avec i=1,

2,…, 10. Les données du problème sont les suivantes :
𝑛 𝑛 𝑛 𝑛 𝑛 𝑛

∑(𝑦𝑖 )2 = 177, ∑ 𝑦𝑖 = 10 , ∑ 𝑥𝑖1 𝑦𝑖 = 20 , ∑ 𝑥𝑖2 𝑦𝑖 = 40 , ∑(𝑥𝑖1 )2 = 5, ∑(𝑥𝑖2 )2 = 20,

𝑖=1 𝑖=1 𝑖=1 𝑖=1 𝑖=1 𝑖=1
𝑛 𝑛 𝑛

∑ 𝑥𝑖1 = ∑ 𝑥𝑖2 = ∑ 𝑥𝑖1 𝑥𝑖2 = 0.

𝑖=1 𝑖=1 𝑖=1

1- Estimer les paramètres de ce modèle

2- Calculer la SCT, calculer la SCE et en déduire la SCR
3- Calculer le R².

Exercice 2 : Dans un modèle où on cherche un ajustement linéaire de Y sur X et

la constante, on dispose des résultats suivants portant sur 52 observations :

𝑦̂𝑡 = −0.43𝑥𝑡 + 1.286

𝑥̅ = 1.063 ; 𝑆𝑦2 = 0.00137 ; 𝑆𝑥2 = 0.00686

Déterminez successivement les valeurs du coefficient de corrélation linéaire entre

X et Y, le coefficient de détermination, la SCT, SCE et la SCR.

Exercice 3 : A partir des données du tableau ci-dessous et en utilisant le modèle

linéaire estimer une fonction de production de type Cobb-Douglas

69
 Entreprise(i) Travail(xi) Capital (zi) Production (yi)
1 73 80 60
2 81 90 120
3 88 95 190
4 86 95 250
5 87 980 300
6 96 110 360
7 10 120 380
8 11 130 430
9 12 150 440

3.2. Propriétés des estimateurs

3.2.1. Esperance et Biais d’estimation
Lorsque les hypothèses de base du modèle linéaire sont satisfaites, l’estimateur
des MCO est sans biais. Un estimateur est dit sans biais si son espérance
mathématique est égale à la vraie valeur du paramètre à estimer. En effet étant
donné que l’estimateur des MCO est 𝛽̂𝑚𝑐𝑜 = (𝑋 ′ 𝑋)−1 𝑋 ′ 𝑌, on peut décomposer cette
expression comme suit :

𝛽̂𝑚𝑐𝑜 = (𝑋 ′ 𝑋)−1 𝑋 ′ (𝑋𝛽 + 𝜖 )

= (𝑋 ′ 𝑋)−1 𝑋 ′ 𝑋𝛽 + (𝑋 ′ 𝑋)−1 𝑋 ′ 𝜖

Or (𝑋 ′ 𝑋)−1 𝑋 ′ 𝑋 = 𝐼 où 𝐼 est la matrice identité. Ainsi :

𝛽̂𝑚𝑐𝑜 = 𝛽 + (𝑋 ′ 𝑋)−1 𝑋 ′ 𝜖

Dès lors :

𝐸 ( 𝛽̂𝑚𝑐𝑜 ) = 𝐸(𝛽 + (𝑋 ′ 𝑋)−1 𝑋 ′ 𝜖)

= 𝐸(𝛽) + 𝐸((𝑋 ′ 𝑋)−1 𝑋 ′ 𝜖)

= 𝛽 + (𝑋 ′ 𝑋)−1 𝑋 ′ 𝐸(𝜖)

Or 𝐸(𝜖) = 0, ainsi,

𝐸 (𝛽̂𝑚𝑐𝑜 ) = 𝛽 (3.26)

Ce qui montre que l’estimateur MCO est sans biais car l’espérance est égale à la
vraie valeur du paramètre recherché.

70
3.2.2. Variance et Convergence
Par ailleurs, l’estimateur étant une variable aléatoire, on peut mesurer sa
variance. En effet :

𝑉𝐴𝑅 ( 𝛽̂𝑚𝑐𝑜 ) = 𝑉𝐴𝑅(𝛽 + (𝑋 ′ 𝑋)−1 𝑋 ′ 𝜖)

= 𝑉𝐴𝑅(𝛽) + 𝑉𝐴𝑅((𝑋 ′ 𝑋)−1 𝑋 ′ 𝜖)

= 0 + (𝑋 ′ 𝑋)−1 𝑋′𝑉𝐴𝑅(𝜖)𝑋(𝑋 ′ 𝑋)−1

= (𝑋 ′ 𝑋)−1 𝑋′𝐼𝜎𝜀2 𝑋(𝑋 ′ 𝑋)−1

= 𝜎𝜀2 [(𝑋 ′ 𝑋)−1 𝑋′𝑋](𝑋 ′ 𝑋)−1

𝑉𝐴𝑅 ( 𝛽̂𝑚𝑐𝑜 ) = 𝜎𝜀2 (𝑋 ′ 𝑋)−1 (3.27)

Théorème de Gauss-Markov

Selon le théorème de Gauss-Markov, l’estimateur 𝛽̂𝑚𝑐𝑜 est le meilleur

estimateur dans la classe des estimateurs linéaires sans biais de 𝛽 car sa
variance est la plus faible. En effet, selon ce théorème il n'existe pas d'autres
estimateurs linéaires (sans biais) présentant une plus petite variance que celle de
l’estimateur des MCO. Les estimateurs des MCO sont BLUE (best linear
unbiased estimator). On dit qu'ils sont efficaces.

Pour démontrer cette propriété, considérons l’estimateur MCO avec

𝛽̂𝑚𝑐𝑜 = (𝑋 ′ 𝑋)−1 𝑋 ′ 𝑌 = 𝐴𝑌

Où 𝐴 est une matrice

Par la suite considérons un estimateur linéaire quelconque 𝛽 ∗ telle que :

𝛽 ∗ = 𝐶𝑌
Où C est une matrice.

Considérons une matrice B telle que :

𝐵 =𝐶−𝐴
∗
On peut alors redéfinir 𝛽 tel que :
𝛽 ∗ = (𝐵 + 𝐴)𝑌

Ce qui donne : 𝛽 ∗ = (𝐵 + (𝑋 ′ 𝑋)−1 𝑋 ′ )𝑌

Calculons l’espérance de 𝛽 ∗ , on a :

𝐸(𝛽 ∗ ) = 𝐸[(𝐵 + (𝑋 ′ 𝑋)−1 𝑋 ′ )𝑌]

71
 = 𝐸[(𝐵 + (𝑋 ′ 𝑋)−1 𝑋 ′ )(𝑋𝛽 + 𝜖)]

= 𝐸[𝐵𝑋𝛽 + (𝑋 ′ 𝑋)−1 𝑋 ′ 𝑋𝛽 + 𝐵𝜖 + (𝑋 ′ 𝑋)−1 𝑋 ′ 𝜖]

= 𝐵𝑋𝛽 + 𝐼𝛽

𝛽 ∗ = (𝐵𝑋 + 𝐼)𝛽

Ainsi pour que 𝛽 ∗ soit sans biais, il faut que 𝐵𝑋 = 0.

Calculons maintenant la variance :

𝑉𝐴𝑅(𝛽 ∗ ) = 𝑉𝐴𝑅[(𝐵 + (𝑋 ′ 𝑋)−1 𝑋 ′ )𝑌]

= (𝐵 + (𝑋 ′ 𝑋)−1 𝑋 ′ )𝐼𝜎𝜀2 (𝐵 + (𝑋 ′ 𝑋)−1 𝑋 ′ )′

𝑉𝐴𝑅(𝛽 ∗ ) = {𝐵𝐵 ′ + 𝐵𝑋(𝑋 ′ 𝑋)−1 + (𝑋 ′ 𝑋)−1 𝑋 ′ 𝐵 ′ + (𝑋 ′ 𝑋)−1 }𝜎𝜀2

Sachant 𝐵𝑋(𝑋 ′ 𝑋)−1 = 0 ; (𝑋 ′ 𝑋)−1 𝑋 ′ 𝐵 ′ = 0,

𝑉𝐴𝑅(𝛽 ∗ ) = {𝐵𝐵 ′ + (𝑋 ′ 𝑋)−1 }𝜎𝜀2

La matrice 𝐵𝐵 ′ est semi-définie positive. Tous les éléments de sa diagonale sont

positifs. Donc, le meilleur estimateur est obtenu quand B = 0. Ainsi, lorsque
𝐵𝐵 ′ = 0, on obtient l’estimateur 𝛽̂𝑚𝑐𝑜 . C’est pourquoi on dit que 𝛽̂𝑚𝑐𝑜 est un
estimateur BLUE (Best Linear Unbiased Estimator).

3.2.3. Distribution de probabilité des estimateurs

Propriété 1 :

Dans le modèle linéaire général avec des résidus normaux, on a :

𝛽̂ ↝ 𝑁(𝛽, 𝜎𝜀2 (𝑋 ′ 𝑋)−1 ) (3.28)

Propriété 2 : Dans le modèle linéaire général avec les résidus normaux, on a le

corolaire suivant :

(𝑋 ′ 𝑋)
(𝛽̂ − 𝛽)′ (𝛽̂ − 𝛽) ↝ 2𝑝 (3.29)
𝜎𝜀2

En effet, en appliquant le théorème central limite sur le vecteur 𝛽̂ , on a :

(𝛽̂ − 𝛽)
1 ↝ 𝑁(0, 𝐼)
(𝜎𝜀2 (𝑋 ′ 𝑋)−1 )2
1
((𝑋 ′ 𝑋)−1 )−2
 (𝛽̂ − 𝛽) ↝ 𝑁(0, 𝐼)
𝜎𝜀

72
 1
(𝑋 ′ 𝑋)2
 (𝛽̂ − 𝛽) ↝ 𝑁(0, 𝐼) (3.30)
𝜎𝜀

En élevant cette expression au carré et en faisant la somme de ces carrés, on

retrouve une loi de khi-deux:
1 1
((𝑋 ′ 𝑋)2 ) ′ ((𝑋 ′ 𝑋)2 )
(𝛽̂ − 𝛽)′ (𝛽̂ − 𝛽) ↝ 2𝑝
𝜎𝜀 𝜎𝜀
1 1 1
(𝑋 ′ 𝑋)2 est une matrice idempotente par conséquent ((𝑋 ′ 𝑋)2 ) ′ ((𝑋 ′ 𝑋)2 ) = (𝑋 ′ 𝑋).
Ainsi, on a :

(𝑋 ′ 𝑋)
(𝛽̂ − 𝛽)′ (𝛽̂ − 𝛽) ↝ 2𝑝
𝜎𝜀2

Par ailleurs, on pouvait se servir d’une autre propriété pour démontrer que cette
distribution suit une loi de khi-deux. En effet, soit un vecteur aléatoire U de
distribution normale, de moyenne nulle et de variance I. Si P est une matrice
symétrique, idempotente et de rang p, alors 𝑈′𝑃𝑈 est une variable aléatoire qui
suit une loi de 2𝑝 à p degrés de liberté.

Démonstration :

𝛽̂ = 𝛽 + (𝑋 ′ 𝑋)−1 𝑋 ′ 𝜖

𝛽̂ − 𝛽 = (𝑋 ′ 𝑋)−1 𝑋 ′ 𝜖

(𝑋 ′ 𝑋) (𝑋 ′ 𝑋)
(𝛽̂ − 𝛽)′ ̂ − 𝛽) = (𝜖′𝑋(𝑋 ′ 𝑋)−1 )
(𝛽 ((𝑋 ′ 𝑋)−1 𝑋′𝜖)
𝜎𝜀2 𝜎𝜀2

𝜖′ 𝜖
= 𝑋(𝑋 ′ 𝑋)−1 𝑋 ′
𝜎𝜀 𝜎𝜀

Et comme la matrice 𝑋(𝑋 ′ 𝑋)−1 𝑋 ′ est symétrique et idempotente et de rang p et

𝜖′
que est un vecteur multinormal, par conséquent, on a bien :
𝜎𝜀

(𝑋 ′ 𝑋)
(𝛽̂ − 𝛽)′ (𝛽̂ − 𝛽) ↝ 2𝑝
𝜎𝜀2

Propriété 3 : Dans le modèle linéaire général avec les résidus normaux, on a le

corolaire suivant (tiré de l’expression de la démonstration précédente):

𝜖̂′𝜖̂
↝ 2𝑛−𝑝
𝜎𝜀2

En effet, 𝜖̂ = 𝑌 − 𝑋𝛽̂ = 𝑌 − 𝑋(𝑋 ′ 𝑋)−1 𝑋 ′ 𝑌 = 𝑃𝑋 𝜖

73
Avec 𝑃𝑋 = 𝐼 − 𝑋(𝑋 ′ 𝑋)−1 𝑋 ′ .

Or 𝑃𝑋 est une matrice symétrique et idempotente et de rang n-p. On obtient

alors :

𝜖̂′𝜖̂ 𝜖′   𝜖
= 𝑃 ′𝑃 ↝ 2𝑛−𝑝
𝜎𝜀2 𝜎𝜀 𝑋 𝑋 𝜎𝜀

𝜖′  𝜖
= 𝑃
𝜎𝜀 𝑋 𝜎𝜀

Ainsi

𝜖̂′𝜖̂ 𝜖′  𝜖
= 𝑃 ↝ 2𝑛−𝑝
𝜎𝜀2 𝜎𝜀 𝑋 𝜎𝜀

𝜖̂′𝜖̂ (𝑛 − 𝑝)𝜎̂𝜀2
2
↝ 𝑛−𝑝 
2
2
↝ 2𝑛−𝑝
𝜎𝜀 𝜎𝜀

Tableau 2 : Récapitulatif sur les paramètres du modèle linéaire multiple

Expression Expression
Estimateur Esperance Variance
simple développée
𝛽̂
𝛽̂ (𝑋 ′ 𝑋)−1 𝑋 ′ 𝑌 𝛽 𝜎𝜀2 (𝑋 ′ 𝑋)−1
= 𝛽 + (𝑋 ′ 𝑋)−1 𝑋 ′ 𝜖

𝜖̂′𝜖̂ (𝑌 − 𝑋𝛽)′(𝑌 − 𝑋𝛽)′

𝜎̂𝜀2 𝜎𝜀2
𝑛−𝑝 𝑛−𝑝

Résumé sur les lois de probabilité des paramètres

𝛽̂ ↝ 𝑁(𝛽, 𝜎𝜀2 (𝑋 ′ 𝑋)−1 )

(𝑋 ′ 𝑋)
(𝛽̂ − 𝛽)′ (𝛽̂ − 𝛽) ↝ 2𝑝
𝜎𝜀2

(𝑛 − 𝑝)𝜎̂𝜀2
↝ 2𝑛−𝑝
𝜎𝜀2

74
3.3. Tests d’hypothèses sur les coefficients estimés
𝛽0
𝛽1
𝛽 = 𝛽2 𝑗 = 1, 2, . . 𝑝
..
(𝛽𝑝 )

3.3.1. Test sur les coefficients individuels 𝛽𝑗

Ce test se formule avec l’hypothèse suivante :

𝐻0 𝛽𝑗 = 𝛽𝑗0
{
𝐻1 𝛽𝑗 ≠ 𝛽𝑗0

Où 𝛽𝑗 est le j-ième élément de 𝛽.

Sous H0, on a
𝛽̂𝑗 ↝ 𝑁 (𝛽𝑗0 , 𝜎𝛽̂
2
)
𝑗

Où 𝜎𝛽̂2 = [𝜎𝜀2 (𝑋 ′ 𝑋)−1 ]𝑗𝑗

𝑗

2
𝜎𝛽̂ représente en fait au j-ième élément diagonal de la matrice de variance-
𝑗

covariance 𝜎𝜀2 (𝑋 ′ 𝑋)−1. C’est donc la variance du paramètre 𝛽̂𝑗 .

La valeur estimée de cette variance s’écrit telle que :

𝜎̂𝛽̂2 = [𝜎̂𝜀2 (𝑋 ′ 𝑋)−1 ]𝑗𝑗

𝑗

On sait par ailleurs que :

(𝑛 − 𝑝)𝜎̂𝛽̂2 (𝑛 − 𝑝)𝜎̂𝜀2
= ↝ 2𝑛−𝑝
𝜎𝛽̂2 𝜎𝜀2

Ce qui implique donc que :

(𝑛 − 𝑝)𝜎̂𝛽̂2
𝑗
↝ 2𝑛−𝑝
𝜎𝛽̂2
𝑗

De plus on peut montrer que :

𝛽̂𝑗 − 𝛽𝑗0
↝ 𝑁(0,1)
𝜎𝛽̂𝑗

Le rapport entre ces deux dernières expression telle que :

75
 𝛽̂𝑗 − 𝛽𝑗0
𝜎𝛽̂𝑗 𝑁(0,1)
= ↝ 𝑇(𝑛 − 𝑝)
𝜎̂𝛽̂𝑗
2𝑛−𝑝
𝜎𝛽̂𝑗 √
(𝑛 − 𝑝)

𝛽̂𝑗 − 𝛽𝑗0
↝ 𝑇(𝑛 − 𝑝) (3.31)
𝜎̂𝛽̂𝑗

On retombe alors dans le cadre d’un test de Student classique.

3.3.2. Test sur une combinaison linéaire de coefficients (Test

de Wald)

Le test de Wald se présente sous la forme d’une combinaison linéaire des

coefficients formulé comme suit :

𝐻0 𝑅𝛽 = 𝑟
{
𝐻1 𝑅𝛽 ≠ 𝑟

R est une matrice q× q avec q≤ p et r un vecteur colonne de dimension q. En

outre R est supposée de rang q.

La forme générale de la matrice R et du vecteur r est la suivante :

𝑅10 𝑅11 … 𝑅1𝑝

𝑅 = (𝑅…20 𝑅21 … 𝑅2𝑝 )
… … …
𝑅𝑞0 𝑅𝑞1 … 𝑅𝑞𝑝
𝑟1
𝑟2
𝑟 = (… )
𝑟𝑞

Lorsque q=1 alors la matrice R se réduit à un vecteur-ligne et le vecteur r se

réduit à un scalaire. 𝑅 = (𝑅10 𝑅11 … 𝑅1𝑝 ) et r = 𝑟1. Ce cas se présente lorsqu’il
n’existe qu’une seule contrainte linéaire qui peut se présenter comme suit :

𝛽0
𝛽1
𝐻0 ∶ (𝑅10 𝑅11 … 𝑅1𝑝 ) 𝛽2 = 𝑟1
..
(𝛽𝑝 )

76
Soit
𝐻0 ∶ 𝑅10 𝛽0 + 𝑅11 𝛽1 + 𝑅12 𝛽2 + … 𝑅1𝑝 𝛽𝑝 = 𝑟1

Ce test inclut le test sur les coefficients individuels comme un cas particulier. En
effet, dans le cas d’un test sur coefficient individuel où l’hypothèse nulle est
𝐻0 𝛽𝑗 = 𝛽𝑗0 , la contrainte se présentera alors comme suit :

𝐻0 ∶ 0𝛽0 + 0𝛽1 + ⋯ + 1𝛽𝑗 + … + 0𝛽𝑝 = 𝛽𝑗0

Dans ce cas, 𝑅 = (0 0 … 1 … 0 ) et 𝑟1 = 𝛽𝑗0

Le test inclut également le test de significativité globale comme un cas particulier

en attribuant 1 à l’ensemble des éléments diagonaux de R (matrice identité) et 0
en dehors de ces éléments. En plus, on attribue 0 à r. En effet lorsqu’on a
plusieurs contraintes, l’hypothèse nulle du test de Wald se présente comme suit :

𝑅10 𝛽0 + 𝑅11 𝛽1 + 𝑅12 𝛽2 + … 𝑅1𝑝 𝛽𝑝 = 𝑟1

𝐻0 {𝑅
…
20 𝛽0 + 𝑅21 𝛽1 + 𝑅22 𝛽2 + … 𝑅2𝑝 𝛽𝑝 = 𝑟2
… … …. … …. …
𝑅𝑞0 𝛽0 + 𝑅𝑞1 𝛽1 + 𝑅𝑞2 𝛽2 + … 𝑅𝑞𝑝 𝛽𝑝 = 𝑟𝑞

Pour effectuer le test de significativité globale (nullité de tous les paramètres

exception faite de la constante), on a la formulation suivante :

0𝛽0 + 1𝛽1 + 0𝛽2 + … 0𝛽𝑝 = 0

𝐻0 {… 0𝛽0 + 0𝛽1 + 1𝛽2 + … 0𝛽𝑝 = 0
… … …. … …. …
0𝛽0 + 0𝛽1 + 0𝛽2 + … 1𝛽𝑝 = 0

Ce qui permet donc d’écrire :

0 1 0 0 … 0 𝛽0
0 0 1 0 .. 0 𝛽1 0
0 0 0 1 … 0 0)
𝛽2 = (…
0 …0
0 …
…
0
…
1
… 0… ..
0
(0 0 0 0 0 1 ) (𝛽𝑝 )

Ainsi, la matrice R se présente comme suit :

0 1 0 0 … 0
0 0 1 0 .. 0
𝑅= 0 0 0 1 … 0
0 …0
0 …
…
0 1 0
… … …
(0 0 0 0 0 1)

77
 En somme pour déterminer la matrice R du test de significativité sous forme de
test de contrainte, on attribue 1 à tous les éléments diagonaux en dehors de la
colonne destinée à la constante. Et 0 à l’ensemble des 𝑟𝑞 (Vecteur nul pour r).

0 1 0 0 … 0 𝛽0
0 0 1 0 .. 0 𝛽1 𝑟1
0 1 … 0 𝑟2
𝐻0 ∶ 0 0 𝛽2 = (… )
0
0 … 0 0 1
… 0… .. 𝑟𝑞
… … …
(0 0 𝛽
) ( 𝑝)
0 0 0 1

L’hypothèse nulle se présente alors comme suit :

𝛽1 = 0
𝐻0 {𝛽2 …
=0
𝛽𝑝 = 0

Dans tous les autres cas, quel que soit la nature de la combinaison, l’hypothèse
nulle du test se présente comme suit :

𝐻0 𝑅𝛽 = 𝑟 (3.32)
Calculons d’abord 𝑅𝛽̂ − 𝑟 sous H0.
Sous H0, on a :

𝑅𝛽̂ − 𝑟 = 𝑅(𝑋 ′ 𝑋)−1 𝑋 ′ 𝑌 − 𝑟

= 𝑅(𝑋 ′ 𝑋)−1 𝑋 ′ (𝑋𝛽 + 𝜖) − 𝑟

= 𝑅(𝑋 ′ 𝑋)−1 𝑋 ′ 𝜖 + (𝑅𝛽 − 𝑟)

Sous H0,(𝑅𝛽 − 𝑟) = 0, ainsi

𝑅𝛽̂ − 𝑟 = 𝑅(𝑋 ′ 𝑋)−1 𝑋 ′ 𝜖

Calculons ensuite la variance de 𝑅𝛽̂ − 𝑟 (en vue de formuler le théorême central-
limite) pour déterminer sa distribution de loi. On a :

𝑉𝐴𝑅(𝑅𝛽̂ − 𝑟) = 𝑉𝐴𝑅(𝑅𝛽̂ )
= 𝑅[𝑉𝐴𝑅(𝛽̂ )]𝑅′

= 𝑅(𝜎𝜀2 (𝑋 ′ 𝑋)−1 )𝑅′

𝑉𝐴𝑅(𝑅𝛽̂ − 𝑟) = 𝑉𝐴𝑅(𝑅𝛽̂ ) = 𝜎𝜀2 𝑅(𝑋 ′ 𝑋)−1 𝑅′

Appliquons maintenant le théorème central-limite sur 𝑅𝛽̂ − 𝑟 (encore appelée

forme quadratique de 𝑉𝐴𝑅(𝑅𝛽̂ ). On a :

78
 ′ −1 1
(𝑅𝛽̂ − 𝑟) (𝑉𝐴𝑅(𝑅𝛽̂ )) (𝑅𝛽̂ − 𝑟) = 𝜖𝑊𝜖′
𝜎𝜀2
Où
𝑊 = 𝑋(𝑋 ′ 𝑋)−1 𝑅′{𝑅(𝑋 ′ 𝑋)−1 𝑅′}−1 𝑅(𝑋 ′ 𝑋)−1 𝑋′

Comme 𝑊 est une matrice idempotente, alors, on peut montrer que :

1
𝜖𝑊𝜖′ ↝ 2𝑞
𝜎𝜀2
Ainsi
′ −1
(𝑅𝛽̂ − 𝑟) (𝑉𝐴𝑅(𝑅𝛽̂ )) (𝑅𝛽̂ − 𝑟) ↝ 2𝑞
Avec 𝑉𝐴𝑅(𝑅𝛽̂ ) = 𝜎𝜀2 𝑅(𝑋 ′ 𝑋)−1 𝑅.

Toutefois on ne peut réaliser directement le test khi-deux à partir de cette

formule du fait que l’expression de la forme quadratique dépend de 𝜎𝜀2 (qui est
inconnue). Il faut alors partir de la loi distribution du rapport des variances
(estimée et vraie valeur). Ainsi, on a :

(𝑛 − 𝑝)𝜎̂𝜀2
↝ 2𝑛−𝑝 
𝜎𝜀2

𝜖̂′𝜖̂
↝ 2𝑛−𝑝 
𝜎𝜀2

On sait, en plus qu’en faisant le rapport entre deux lois de khi-deux divisées par
leur degré de liberté respective, on obtient une loi de Fisher. Ainsi, on a :
′
(𝑅𝛽̂ − 𝑟) {𝑅(𝑋 ′ 𝑋)−1 𝑅′}−1 (𝑅𝛽̂ − 𝑟)
𝜎𝜀2
𝑞
= ↝ 𝐹(𝑞, 𝑛 − 𝑝)
𝜖̂′𝜖̂
𝜎𝜀2
𝑛−𝑝

Au final, en utilisant l’expression de la forme quadratique du vecteur 𝛽̂ et du

rapport des variances des erreurs, on obtient une loi de Fisher telle que :
′
(𝑅𝛽̂ − 𝑟) {𝑅(𝑋 ′ 𝑋)−1 𝑅′}−1 (𝑅𝛽̂ − 𝑟)
𝑞
𝐹= ↝ 𝐹(𝑞, 𝑛 − 𝑝) (3.33)
𝜖̂′𝜖̂
𝑛−𝑝

Dès lors si le Fisher calculé est supérieur au Fisher lu dans la table, on rejette
l’hypothèse nulle 𝐻0 𝑅𝛽 = 𝑟. Dans ce cas, la contrainte spécifiée n’est pas valide.

79
3.4. Estimateur des moindres carrés contraints

Pour mettre en perspective la notion d’estimations sous contraintes linéaires,

partons du cas d’une fonction de production macroéconomique de type Cobb-
Douglas à rendement d’échelle constant. Soit :

𝑙𝑜𝑔𝑌𝑡 = 𝛼 + 𝜇𝑙𝑜𝑔𝑁𝑡 + 𝛾𝑙𝑜𝑔𝐾𝑡 + 𝛿𝑡 + 𝑢𝑡 (3.34)

Où 𝑌𝑡 est le niveau de production, 𝑁𝑡 la quantité de main d’œuvre, 𝐾𝑡 le stock de

capital et t une tendance et 𝑢𝑡 le terme d’erreur.
Pour commencer on suppose que 𝜇 + 𝛾 = 1, ce qui traduit une situation de
rendement d’échelle constant. Définissons une contrainte supplémentaire selon
laquelle 𝛼 = 2𝛿.
Pour estimer ce modèle, il faut d’abord spécifier la matrice des coefficients de
contrainte R. En effet on a :

𝜇+𝛾 =1
{
𝛼 − 2𝛿 = 0
𝛼
𝜇
Sachant que le vecteur des coefficients se présente tel que 𝛽 = ( 𝛾 ) alors, les
𝛿
deux contraintes peuvent s’écrire sous la forme matricielle comme suit :

0𝛼 + 1𝜇 + 1𝛾 + 0𝛿 1
( )=( )
1𝛼 0𝜇 0𝛾 −2𝛿 0

Ce qui donne :
𝛼
0 1 1 0 𝜇 1
( )( ) = ( )
1 0 0 −2 𝛾 0
𝛿
0 1 1 0 1
La contrainte s’écrit alors comme 𝑅𝛽 = 𝑟 avec 𝑅 = ( ) et 𝑟 = ( )
1 0 0 −2 0

Ainsi, connaissant 𝑅 et r, l’estimation du modèle linéaire peut directement se

déduire de l’estimateur des moindres carrés ordinaires non contraintes par la
formule suivante :

𝛽̂𝐶𝐶 = 𝛽̂𝑚𝑐𝑜 + (𝑋 ′ 𝑋)−1 𝑅′{𝑅(𝑋 ′ 𝑋)−1 𝑅′}−1 (𝑟 − 𝑅𝛽̂𝑚𝑐𝑜 ) (3.35)

80
On peut simplement faire remarquer que lorsque (𝑟 − 𝑅𝛽̂𝑚𝑐𝑜 ) = 0, c'est-à-dire
lorsque la contrainte est valide alors l’estimateur des moindres carrés contraints
équivaut à l’estimateur des moindres carrés ordinaires

𝛽̂𝐶𝐶 = 𝛽̂𝑚𝑐𝑜

3.4.1. Propriété de l’estimateur des moindres carrés contraints

Espérance de 𝛽̂𝐶𝐶 :

L’espérance de 𝛽̂𝐶𝐶 s’écrit comme suit :

𝐸(𝛽̂𝐶𝐶 ) = 𝛽 − (𝑋 ′ 𝑋)−1 𝑅′{𝑅(𝑋 ′ 𝑋)−1 𝑅′}−1 (𝑅𝛽 − 𝑟)

Il apparait de cette expression que lorsque les contraintes sont valides (𝑅𝛽 − 𝑟)
alors l’estimateur du moindre carrés contraint est sans biais car :

𝐸(𝛽̂𝐶𝐶 ) = 𝛽 (3.36𝑎)

Par ailleurs, on peut montrer que si les contraintes sont valides, alors
l’estimateur des moindres carrés contraints est optimal parmi les estimateurs
linéaires sans biais de 𝛽 vérifiant la contrainte.

Variance estimée des résidus

L’estimateur de la variance est fondé sur la somme des carrés des résidus
contraints. Il est définit de la façon suivante :

𝜖̂𝑐′ 𝑐 𝜖̂𝑐𝑐
𝜎̂𝜀2𝑐𝑐 = (3.36𝑏)
𝑛−𝑝+𝑞

Avec 𝜖̂𝑐𝑐 = 𝑌 − 𝑋𝛽̂𝐶𝐶 , p le nombre de paramètres du modèle y compris la constante

et q le nombre de contraintes.

3.4.2. Le test de Fisher (sur la validité des contraintes)

Pour tester la validité des contraintes, on tombe dans le cadre classique d’un test
de Wald contraintes linéaires. L’hypothèse nulle de ce test est la suivante :

𝐻0 𝑅𝛽 = 𝑟
{
𝐻1 𝑅𝛽 ≠ 𝑟

Nous disposons de deux manières pour calculer la statistique de Fisher.

La première méthode est d’utiliser la forme quadratique de la matrice des

contraintes et le rapport des variances des résidus. La formule adoptée dans cette
méthode est la suivante :

81
 ′
(𝑅𝛽̂𝑚𝑐𝑜 − 𝑟) {𝑅(𝑋 ′ 𝑋)−1 𝑅′}−1 (𝑅𝛽̂𝑚𝑐𝑜 − 𝑟)
𝑞
𝐹= ↝ 𝐹(𝑞, 𝑛 − 𝑝)
𝜖̂′𝜖̂
𝑛−𝑝

Dans ce test, on a pas besoin de calculer l’estimateur du moindre carrés

contraints ( 𝛽̂𝑐𝑐 ).

Dans la seconde méthode, on estime à la fois l’estimateur 𝛽̂𝑚𝑐𝑜 et l’estimateur 𝛽̂𝑐𝑐 .

Ensuite, on calcule la statistique de Fisher à partir de la somme des carrés des
résidus de chaque modèle. La formule se présente comme suit :

𝑆𝐶𝑅𝐶𝐶 − 𝑆𝐶𝑅𝑚𝑐𝑜
( )
𝑑𝑑𝑙𝐶𝐶 − 𝑑𝑑𝑙𝑚𝑐𝑜
𝐹= ↝ 𝐹(𝑑𝑑𝑙𝐶𝐶 − 𝑑𝑑𝑙𝑚𝑐𝑜 , 𝑑𝑑𝑙𝑚𝑐𝑜 )
𝑆𝐶𝑅𝑚𝑐𝑜
( )
𝑑𝑑𝑙𝑚𝑐𝑜

Où 𝑆𝐶𝑅𝐶𝐶 et 𝑆𝐶𝑅𝑚𝑐𝑜 représentent respectivement la somme des carrés des résidus

issus du modèle de moindre carrés contraints et du modèle de moindre carrés
ordinaires. 𝑑𝑑𝑙𝐶𝐶 et 𝑑𝑑𝑙𝑚𝑐𝑜 sont les degrés de liberté respectifs.

𝑑𝑑𝑙𝐶𝐶 = 𝑛 − 𝑝 + 𝑞

𝑑𝑑𝑙𝑚𝑐𝑜 = 𝑛 − 𝑝

𝑛 est le nombre d’observations, 𝑝 est le nombre de paramètres du modèle et 𝑞 le

nombre de contraintes.

Dans les deux formules, la statistique de Fisher est à comparer à la valeur

tabulée en vue du rejet ou du non-rejet de H0.

3.4.3. La statistique de Fisher dans le cadre du test de Chow

(ou test de changement de régime)
Dans des cas où l’on souhaite savoir si un modèle de comportement reste stable
entre deux sous-périodes, on peut utiliser le Test de Fisher dans une
configuration connue sous le test de Chow.

En effet, si l’on dispose d’observations sur deux sous-périodes de 𝑡 = 1 à 𝑇1 et de

𝑡 = 𝑇1 + 1 à 𝑡 = 𝑇1 + 𝑇2, on tente alors de modéliser ces données par deux
modèles :

𝑌1 = 𝑋1 𝛽1 + 𝑢1 𝑠𝑖 𝑡 = 1, … , 𝑇1
{
𝑌2 = 𝑋2 𝛽2 + 𝑢2 𝑠𝑖 𝑡 = 𝑇1 + 1, … , 𝑇

L’hypothèse nulle de ce test est la suivante :

82
 𝐻0 𝛽1 = 𝛽2
{
𝐻1 𝛽1 ≠ 𝛽2

Ce test est en fait un cas particulier du test de Fisher dans la mesure dans le
sens où la contrainte est définie par H0 avec H1 qui représente l’estimations non
contrainte. Dans cette configuration, la statistique de Fisher se calcule comme
suit :

𝑆𝐶𝑅𝐻0 − 𝑆𝐶𝑅𝐻1
( )
𝑑𝑑𝑙𝐻0 − 𝑑𝑑𝑙𝐻1
𝐹= ↝ 𝐹(𝑑𝑑𝑙𝐻0 − 𝑑𝑑𝑙𝐻1 , 𝑑𝑑𝑙𝐻1 )
𝑆𝐶𝑅𝐻1
( )
𝑑𝑑𝑙𝐻1

Où 𝑆𝐶𝑅𝐻0 et 𝑆𝐶𝑅𝐻1 représentent respectivement la somme des carrés des résidus

issus du modèle du modèle estimé sous 𝐻0 ( modèle contraint) et la somme des
carrés des résidus issus du modèle du modèle estimé sous 𝐻1 .

𝑆𝐶𝑅𝐻0 = 𝑆𝐶𝑅0 obtenu sur l’échantillon total.

𝑆𝐶𝑅𝐻1 = 𝑆𝐶𝑅1 + 𝑆𝐶𝑅2

𝑆𝐶𝑅𝐻1 est la somme de deux sommes carrés des résidus (obtenue en estimant le
modèle sur chacun des deux sous-échantillons).

𝑑𝑑𝑙𝐻0 et 𝑑𝑑𝑙𝐻1 représentent les degrés de liberté respectifs de 𝑆𝐶𝑅𝐻0 et de 𝑆𝐶𝑅𝐻1 .

𝑑𝑑𝑙𝐻0 = 𝑝

𝑑𝑑𝑙𝐻1 = 𝑇1 + 𝑇2 − 2𝑝

𝑜ù 𝑝 est le nombre de paramètres du modèle y compris la constante. 𝑇1 est le

nombre d’observations de la première période et 𝑇2 le nombre d’observation de la
seconde période.

Lorsque la statistique calculée est supérieure à la valeur tabulée aux degrés de

libertés définis alors on rejette l’hypothèse nulle. Ce qui signifie que le coefficient
n’est pas stable entre les deux périodes.

83
3.5. Estimation par maximum de vraisemblance
Le principe de l’estimation par maximum de vraisemblance consiste à faire une
hypothèse sur la distribution de probabilité de 𝜀𝑖 . En effet, on suppose, que les 𝜀𝑖
suivent une loi normale de moyennes nulle et de variance 𝜎𝜀2 .

𝜀𝑖 ↝ 𝑁(0, 𝜎𝜀2 )

En reprenant, l’équation du modèle linéaire initiale, on a :

𝑌 = 𝑋𝛽 + 𝜖 (3.36)

L’hypothèse de normalité du vecteur des résidus se présente comme suit :

𝜖 ↝ 𝑁(0, 𝐼𝜎𝜀2 )

Il faut aussi noter que comme 𝑌 = 𝑋𝛽 + 𝜖 et que 𝜖 ↝ 𝑁(0, 𝐼𝜎𝜀2 ) alors on aura :

𝑌 ↝ 𝑁(𝑋𝛽, 𝐼𝜎𝜀2 )

En effet

𝐸(𝑌) = 𝐸(𝑋𝛽 + 𝜖) = 𝐸(𝑋𝛽) + 𝐸(𝜖) = 𝑋𝛽

𝑉𝐴𝑅(𝑌) = 𝑉𝐴𝑅(𝑋𝛽 + 𝜖) = 𝑉𝐴𝑅(𝑋𝛽) + 𝑉𝐴𝑅(𝜖) = 0 + 𝐼𝜎𝜀2 = 𝐼𝜎𝜀2

Fonction de densité et fonction de vraisemblance

Une variable aléatoire 𝑋 est dite normale de moyenne 𝜇 et de variance 𝜎 2 si sa

densité vaut :

1 1 𝑋−𝜇 2
𝑓(𝑋) = exp (− ( ) ) (3.37)
𝜎√2𝜋 2 𝜎

Lorsque 𝑋 est une matrice telle que = (𝑥1 , 𝑥2 , … , 𝑥𝑘 )′ , on parle de distribution

multinormale où la moyenne est 𝜇 = (𝜇1 , 𝜇2 , … , 𝜇𝑘 )′ et de variance-covariance noté
∑ Dans ce cas, la fonction de densité se présente comme suit :

1 1 2
𝑓(𝑋) = 1 1 exp (− ((𝑋 − 𝜇)∑−1 ) ) (3.38)
(2𝜋)2 |∑|2 2

Connaissant la fonction de densité d’une loi multinormale, on peut spécifier la

fonction de densité de la variable 𝜖 sachant que 𝑌 = 𝑋𝛽 + 𝜖. On obtient alors :

1 1 2
𝑓(𝑌) = 1 1 exp (− ((𝑌 − 𝑋𝛽)(𝐼𝜎𝜀2 )−1 ) )
(2𝜋)2 (𝐼𝜎 2 )2 2
𝜀

84
 1 1
𝑓(𝑌) = 1 exp (− (𝑌 − 𝑋𝛽)2 ) (3.39)
(2𝜋𝜎𝜀2 )2 2𝜎𝜀2

Ainsi, pour estimer, l’équation (3.36) par maximum de vraisemblance, on pose

d’abord l’expression de la fonction de vraisemblance. Ainsi, en notant par
𝐿(𝛽0 , 𝛽1 , 𝛽2 , … 𝛽𝑘 , 𝜎𝜀2 ), la fonction de vraisemblance est :
2
𝑛 𝑛 𝑘
1 1
𝐿(𝛽0 , 𝛽1 , 𝛽2 , … 𝛽𝑘 , 𝜎𝜀2 ) = ∏ 𝑓(𝑦𝑖 ) = ∏ [ 1 exp (− (𝑦 − 𝛽0 − ∑ 𝛽𝑗 𝑥𝑖𝑗 ) )]
(2𝜋𝜎 2 )2 2𝜎𝜀2 𝑖
𝑖=1 𝑖=1 𝜀 𝑗=1

2
𝑛 𝑘
1 1
𝐿(𝛽0 , 𝛽1 , 𝛽2 , … 𝛽𝑘 , 𝜎𝜀2 ) = 𝑛 exp (− ∑ (𝑦𝑖 − 𝛽0 − ∑ 𝛽𝑗 𝑥𝑗 ) )
(2𝜋𝜎𝜀2 ) 2 2𝜎𝜀2
𝑖=1 𝑗=1

Cependant, étant donné le nombre de paramètre à estimer, pour alléger l’étape

des dérivations, il est judicieux de présenter la fonction de vraisemblance sous la
forme matricielle afin de faciliter la dérivation. En effet, la forme matricielle de la
fonction de vraisemblance est 𝑌 fonction de va

1 1
𝐿(𝛽, 𝜎𝜀2 ) = 𝑛 exp (− (𝑌 − 𝑋𝛽)′(𝑌 − 𝑋𝛽))
(2𝜋𝜎𝜀2 ) 2 2𝜎𝜀2

Par ailleurs, comme il est plus plus facile de chercher à maximiser le logarithme
de la fonction de vraisemblance plutôt que la fonction elle-même, on prend le
logarithme de la fonction de vraisemblance :

𝑛 𝑛 1
𝐿𝑜𝑔𝐿(𝛽, 𝜎𝜀2 ) = − log(2𝜋) − log(𝜎𝜀2 ) − 2 (𝑌 − 𝑋𝛽)′(𝑌 − 𝑋𝛽)
2 2 2𝜎𝜀

La méthode du maximum de vraisemblance consiste à choisir les paramètres 𝛽 et

𝜎𝜀2 de sorte à maximiser cette fonction de vraisemblance. Pour cela, il faut dériver
la dérivée et retrouver les conditions de premier ordre afin d’en déduire chacun
des paramètres. En dérivant cette fonction par rapport à 𝛽 et à 𝜎𝜀2 , on trouve :

𝜕𝐿𝑜𝑔𝐿(𝛽, 𝜎𝜀2 ) 1
= 2 (𝑋′𝑌 − 𝑋′𝑋𝛽) = 0
𝛽 𝜎𝜀

𝜕𝐿𝑜𝑔𝐿(𝛽, 𝜎𝜀2 ) 𝑛 2 1
= − 𝜎𝜀 + (𝑌 − 𝑋𝛽)′(𝑌 − 𝑋𝛽) = 0
{ 𝜎𝜀2 2 2(𝜎𝜀2 )2

En résolvant ce système on trouve :

𝛽̂𝑚𝑣 = (𝑋 ′ 𝑋)−1 𝑋 ′ 𝑌 (3.40)

85
On constate alors que sous l’hypothèse de normalité, l’estimateur de maximum de
vraisemblance (MV) est égal à l’estimateur des moindres carrés ordinaires.

Si 𝜖 ↝ 𝑁(0, 𝐼𝜎𝜀2 )  𝑌 ↝ 𝑁(𝑋𝛽, 𝐼𝜎𝜀2 )  𝛽̂𝑚𝑣 = 𝛽̂𝑚𝑐𝑜 = (𝑋 ′ 𝑋)−1 𝑋 ′

On montre par ailleurs que la variance de l’estimateur MV est :

𝑉𝐴𝑅 (𝛽̂𝑀𝑉 ) = 𝜎𝜀2 (𝑋 ′ 𝑋)−1 (3.41)

Cependant 𝜎𝜀2 étant, en général inconnu, il faut considérée sa valeur estimée 𝜎̂𝜀2 :

𝜖′𝜖
𝜎̂𝜀2 = (3.42)
𝑛−𝑘

Où 𝑛 est le nombre d’observations et 𝑘 est le nombre de paramètres à estimer (y

compris la constante). 𝑘 correspond au rang de la matrice. Ainsi 𝑛 − 𝑘 est le
nombre de degrés de liberté. Avec cette variance estimée, la variance de
l’estimateur MV est :

𝑉𝐴𝑅 (𝛽̂𝑀𝑉 ) = 𝜎̂𝜀2 (𝑋 ′ 𝑋)−1 (3.43)

Cette expression représente la variance estimée de l’estimateur de MV. Il faut

aussi noter son espérance est égale 𝛽 car

𝐸(𝛽̂𝑀𝑉 ) = 𝛽 (3.44)

Propriétés

Un estimateur est efficace ou de variance minimum si sa variance est plus petite

ou égale que tous les estimateurs du paramètre. Et un estimateur 𝜃̂ est dit
convergent, s’il converge en probabilité vers le paramètre à estimer, c’est-à-dire :

lim 𝑃𝑟(|𝜃̂ − 𝜃| > 𝜏) = 0 (3.45)

𝑛→∞

Où 𝜏 est une quantité arbitrairement petite.

Si l’estimateur du maximum de vraisemblance admet une solution unique, alors

cet estimateur est convergent et asymptotiquement efficace du paramètre. De
plus, cet estimateur converge en loi vers une normale.

𝛽̂𝑀𝑉 ↝ 𝑁(𝛽, 𝜎̂𝜀2 (𝑋 ′ 𝑋)−1 ) (3.46)

Cependant, l’estimateur du maximum de vraisemblance n’est pas nécessairement

sans biais. L’estimateur du maximum de vraisemblance de 𝜎𝜀2 est en effet biaisé.

86
Exercices d’application

Exercice 1 : Soit 𝑦 une suite de variables aléatoires (v.a.) indépendantes et

identiquement distribuées (iid) suivant une loi normale de moyenne 𝜇 et de
variance 𝜎 2 si sa densité vaut :

1. Estimez 𝜇 par la méthode du maximum de vraisemblance si l’on suppose que

𝜎 2 est connue.

2. Estimez 𝜎 2 par la méthode du maximum de vraisemblance si l’on suppose que

𝜇 est connue.

3. Estimez 𝜇 et 𝜎 2 par la méthode du maximum de vraisemblance si l’on suppose

que 𝜇 et 𝜎 2 sont inconnues.

Exercice 2 On considère un modèle linéaire multiple où une variable dépendante

𝑌 est expliquée par un ensemble de variable 𝑋 tel que :

1 𝑥1
1 𝑥2 )
𝑋 = (… …
1 𝑥𝑛

En supposant 𝑛 observations indépendantes et identiquement distribuées (iid)

suivant une loi normale. Ecrivez la fonction de vraisemblance lorsque le vecteur
𝛽
de paramètre est 𝛽 = ( 0 ).
𝛽1

2. Ecrivez la fonction de vraisemblance de manière scalaire (et non sous la forme

matricielle).

3. Annulez les dérivées partielles par rapport à 𝛽0, 𝛽1, 𝜎 2 .

87
 CHAPITRE 4. LE MODELE LINEAIRE
GENERALISE

Les modèles que nous avons étudiés jusque-là ont été élaborés sur les hypothèses
fondamentales suivantes:

1.) 𝐸(𝜀𝑖 ) = 0
2.) 𝑉(𝜀𝑖 ) = 𝜎 2
3.) 𝐶𝑂𝑉(𝜀𝑖 , 𝜀𝑗 ) = 0
4.) 𝐶𝑂𝑉(𝑥𝑖 , 𝜀𝑖 ) = 0

Sous ces hypothèses, l’estimation des paramètres du modèle par la méthode des
moindres carrés demeurent les meilleurs estimateurs linéaires sans biais. Mais
la violation de l’une de ces hypothèses, entraîne divers problèmes économétriques
notamment des biais d’estimation, l’inefficience des estimateurs, etc. Le but de
cette section est de présenter les différentes méthodes d’estimation compte tenu
du problème économétrique soulevé par la violation de l’hypothèse.

D’une manière générale, trois principaux problèmes sont rencontrés :

l’hétéroscédasticité, l’autocorrélation des erreurs ou l’endogéneité (ou problème
de corrélation entre les variables explicatives et les résidus).

4.1. Test de normalité des résidus

D’une manière générale, la normalité des résidus est construite à partir des
hypothèses 1) et 2) que sont respectivement : 𝐸(𝜀𝑖 ) = 0 ; 𝑉(𝜀𝑖 ) = 𝜎 2 .

La procédure couramment utilisée pour tester la normalité des résidus est le test
de Jarque-Bera. La statistique du test de Jarque-Bera est calculée à partir des
deux caractéristiques principales d’une distribution normale : le coefficient
d’asymétrie (skewness) et le coefficient d’aplatissement (kurtosis). Ces deux
coefficients se calculent comme suit :

𝐸[(𝜀𝑖 )3 ]
𝑆= (4.1𝑎)
(𝜎𝑖 )3

𝐸[(𝜀𝑖 )4 ]
𝐾= (4.1𝑏)
(𝜎𝑖 )4

Le coefficient d’asymétrie correspond au rapport entre le moment d’ordre 3 et le

cube de l’écart-type. Le coefficient d’aplatissement, quant à lui, correspond au
rapport entre le moment d’ordre 4 et l’écart-type élevé à la puissance 4.

88
Pour une distribution normale, le coefficient d’asymétrie est nécessairement nul
(puisque le moment d’ordre 3 existe). De même pour une loi normale, le
coefficient d’aplatissement est égal à 3. Le test de normalité consiste donc à
tester conjointement :

𝐻0 : 𝑆 = 0 𝑒𝑡 𝐾 = 3

La statistique de test proposée alors par Jarque-Bera est la suivante :

𝑛 2 (𝐾 − 3)2
𝐽𝐵 = [𝑆 + ] ↝ 2 (2) (4.2)
6 4

Où n est la taille de l’échantillon (nombre d’observations).

Lorsque la statistique JB est supérieure au khi-deux lu dans la table, on rejette

𝐻0 . Dans ce cas, les résidus ne suivent pas une loi normale.

4.2. Test d’hétéroscédasticité

Jusque-là, nous avons fait l’hypothèse que la variance du terme d’erreur était
constante conditionnellement aux variables explicatives. On dit alors qu’il y a
homoscédasticité. Intuitivement, cela veut dire que la variance du terme d’erreur
est constante peu importe le niveau des variables explicatives. Dans cette section,
nous étudions ce qui arrive lorsque cette hypothèse est relâchée.

L’hétéroscédasticité traduit une situation où la variance des erreurs n’est plus

identique (constante) d’un individu à un autre. En présence d’hétéroscédasticité,
l’estimateur des moindres carrés ordinaires reste toujours sans biais. Mais, il est
inefficace et sa variance est biaisée. L’estimateur n’est plus BLUE. Néanmoins
des corrections peuvent être apportées à l’estimateur pour le rendre efficace avec
une variance plus faible et non biaisée.

On est en présence d’hétéroscédasticité lorsque :

𝑉(𝜀𝑖 ) = 𝜎𝑖2 ≠ 𝜎 2 (4.3)

De façon matricielle, en partant du modèle tel que:

𝑌 = 𝑋𝛽 + 𝜖

La matrice de variance-covariance qui s’exprime telle que 𝐸(𝜖′𝜖) est une matrice
diagonale dont la forme générale est la suivante :

89
 𝜎𝜀21 0 … … 0
0 𝜎𝜀22 … … …
= … … 𝜎𝜀2𝑖 … …
… … … … …
(0 … … … 𝜎𝜀2𝑛 )

𝐸(𝜖′𝜖) =  = 𝐷𝑖𝑎𝑔(𝜎12 , 𝜎22 , … , 𝜎𝑛2 )

A cause de l’hétéroscédasticité, on a  ≠ 𝜎 2 𝐼𝑁 .

𝜎𝜀21 0 … … 0
0 𝜎𝜀22 … … …
= … … 𝜎𝜀2𝑖 … … ≠ 𝜎𝜀 𝐼𝑁
2

… … … … …
(0 … … … 𝜎𝜀2𝑛 )

Puisque l’hétéroscédasticité invalide les résultats des tests (particulièrement les

tests t et F) et fait en sorte que les MCO ne sont plus BLUE, il apparaît utile de
pouvoir tester sa présence. Nous pouvons toujours tracer un graphique de
"points" et observer s’il y a de l’hétéroscédasticité, cependant il est préférable de
procéder à un test formel. Les trois prochaines sous-sections portent sur de tels
tests. Dans cette section, nous allons d’abord discuter des méthodes de détection
de l’hétéroscédasticité avant de présenter la méthode de correction.

Détection graphique

En général, l’hétéroscédasticité peut être visible à partir d’un graphique lorsqu’on

représente le nuage de points des résidus en fonction des différentes variables
explicatives. Par exemple, en présence d’hétéroscédasticité, le nuage de points
tend à « s’élargir », tel un entonnoir c'est-à-dire où la variance des résidus n’est
pas constante et tend à être plus ou moins forte selon l’intervalle de Y considéré.
Même s’il y a bien une relation linéaire entre les variables X et Y, mais le nuage
des résidus rend une forme en "entonnoir" ce qui signifie que les estimations de Y
en fonction de X sont très bonnes pour des valeurs petites de Y mais beaucoup
plus médiocres pour des valeurs élevées de Y. On peut aussi avoir 1 « entonnoir »
dans le sens inverse (ie qui se réduit avec les valeurs de X). Dans ce cas,
l’estimation est très bonne pour les valeurs élevées de Y mais mauvaise pour des
faibles valeurs.

Cependant pour détecter rigoureusement l’hétéroscédasticité, il est nécessaire

d’avoir recours à des tests explicites. Plusieurs tests sont, à cet effet, utilisés : le
test de Goldfeld-Quandt, le test de Breush-Pagan et le test de White, etc.

90
4.2.1. Le test Goldfeld-Quandt
Le test Goldfeld-Quandt repose sur l’hypothèse que la variance des perturbations
est une fonction monotone d’une ou des variables explicatives 𝑋. L’idée du test est
de comparer les variances des perturbations sur deux sous-échantillons de tailles
𝑛1 et 𝑛2 telles que 𝑛1 correspond aux premières observations et 𝑛2 les dernières.
On choisit alors les 𝑛1 et 𝑛2 observations de manière à séparer suffisamment les
deux sous-échantillons dans le but de s’assurer que la variance puisse
significativement être différente entre les deux sous-échantillons.

Pour présenter ce test, on suppose d’abord que 𝑋 est constitué d’une seule
variable suivant le modèle :

𝑦𝑖 = 𝛽0 + 𝛽1 𝑥𝑖 + 𝜀𝑖

Pour mettre en œuvre le test, on ordonne d’abord, de façon croissante, les

observations en fonction de 𝑥𝑖 de telle sorte que 𝑥𝑖 soit inférieur 𝑥𝑖+1 . Ensuite, on
exclue m observations centrales telles que :
𝑛−𝑚
𝑛1 = 𝑛2 =
2

Où n est le nombre d’observation total, m est le nombre centrales à exclure afin

d’obtenir 𝑛1 et 𝑛2 .

Ainsi, si 𝜎12 est la variance des perturbations sur le premier sous échantillons et
que 𝜎22 est la variance sur le second sous échantillon, on peut alors formuler
l’hypothèse de test de l’hétéroscédasticité comme suit :

𝐻0 : 𝜎12 = 𝜎22
{
𝐻1 : 𝜎12 ≠ 𝜎22

L’hypothèse nulle 𝐻0 traduit l’homoscédastcité alors que l’hypothèse 𝐻1 traduit

l’hétérocédastcité.

Le test de Goldfeld-Quandt est fondé sur la statistique suivante :

∑𝑛𝑖=1
2
(𝑦𝑖 − 𝑦̂𝑖 )2
𝜎22 𝜎̂22 𝑛2 − 2 𝑆𝐶𝑅2
𝐺𝑄 = 2 = 2 = 2 =
𝜎1 𝜎̂1 ∑𝑛𝑗=1
1
(𝑦𝑗 − 𝑦̂𝑗 ) 𝑆𝐶𝑅1
𝑛1 − 2

𝑆𝐶𝑅2
𝐺𝑄 = (4.4)
𝑆𝐶𝑅1

91
Où 𝑆𝐶𝑅2 est la somme des carrés des résidus issue de l’estimation par MCO du
modèle sur le second sous-échantillon et 𝑆𝐶𝑅1 la somme des carrés des résidus
obtenue sur le premier sous-échantillon

La statistique GQ est le rapport entre deux variables aléatoires suivant une loi
de khi-deux divisées par leur degrés de libertés respectifs (𝑛2 − 2 et 𝑛1 − 2 ), alors
la statistique GQ suit une loi de Fisher. On a alors :

𝑆𝐶𝑅2
𝐺𝑄 = ↝ 𝐹(𝑛2 − 2 , 𝑛1 − 2 )
𝑆𝐶𝑅1

Lorsque GQ est supérieure à 𝐹(𝑛2 − 2 , 𝑛1 − 2 ), on rejette 𝐻0 , signifiant alors

l’existence de l’hétéroscédasticité dans les données.

L’un des principaux avantages du test de Goldfeld-Quandt est la facilité de sa

mise en œuvre. Cependant, son principal inconvénient est la difficulté du choix
de variables pour trier les observations lorsque l’on dispose de plusieurs variables
explicatives. Par ailleurs, ce test n’est pas très adapté aux petits échantillons du
simple fait qu’il nécessite toujours un découpage de l’échantillon initial.

4.2.2. Le test Breush-Pagan

Le test Breush-Pagan est un prolongement (ou une généralisation) du test
Goldfeld-Quandt qui propose une forme fonctionnelle de hétéroscédasticité. En
d’autres termes, le test Breush-Pagan consiste à expliquer l’hétéroscédasticité en
fonctions des valeurs des variables explicatives. Cette équation se présente
comme suit :

𝜎𝑖2 = 𝜎02 + 𝛼1 𝑥𝑖 (4.5)

L’hypothèse nulle du test Breush-Pagan se formule alors comme suit :

𝐻0 : 𝛼1 = 0  𝜎𝑖2 = 𝜎02
{
𝐻1 : 𝛼1 ≠ 0  𝜎𝑖2 = 𝜎02 + 𝛼1 𝑥𝑖

Le test Breush-Pagan se résume alors à un test sur la nullité du coefficient

associé à la variable 𝑥 dans l’explication de la variance des résidus. Et pour un
ensemble de variable 𝑋, le principe est de tester la nullité jointe des coefficients.

La mise en œuvre du test Breush-Pagan comporte trois étapes.

1- Dans un premier temps, on approxime les 𝜎𝑖2 par les 𝜀̂𝑖2 obtenus de
l’estimation par MCO du modèle 𝑦𝑖 = 𝛽0 + 𝛽1 𝑥𝑖 + 𝜀𝑖 .
2- Dans un second temps, on estime par MCO le modèle suivant :
𝜀̂𝑖2 = 𝛼0 + 𝛼1 𝑥𝑖 + 𝑢𝑖
3- Dans un troisième temps, on calcule la statistique de test BP telle que :

92
 𝐵𝑃 = 𝑛𝑅 2 (4.6)

Où 𝑅 2 est le 𝑅 2 de l’estimation de l’étape 2. Sous 𝐻0 𝑅 2 doit être nul. Mais d’une

manière générale, la statistique BP suit asymptotiquement une loi de Khi-deux à
k-1 degrés de liberté où k est le nombre de variables explicatives (y compris la
constante). 𝑛 représente la taille de l’échantillon.

Lorsque la statistique BP est supérieure au khi-deux tabulé, on rejette 𝐻0

retenant ainsi la présence d’hétéroscédasticité.

4.2.3. Le test de White

Le test d’hétéroscédasticité de White est une généralisation de la forme
fonctionnelle de l’hétéroscédasticité de Breusch-Pagan en y introduisant des
formes quadratiques. En supposant par exemple deux variables 𝑥1𝑖 et 𝑥2𝑖 ,
l’équation d’hétéroscédasticité de White peut être présentée comme suit :

𝜎𝑖2 = 𝜎02 + 𝛾1 𝑥1𝑖 + 𝛾2 𝑥2𝑖 + 𝛾3 𝑥1𝑖

2 2
+ 𝛾4 𝑥2𝑖 + 𝛾5 (𝑥2𝑖 ∗ 𝑥2𝑖 ) + 𝑢𝑖 (4.7)

L’hypothèse nulle du test peut alors se formuler comme suit :

𝐻0 : 𝛾1 = 𝛾2 = 𝛾3 = 𝛾4 = 𝛾5 = 0
{
𝐻1 : 𝛾1 ≠ 0 𝑜𝑢 𝛾2 ≠ 0 𝑜𝑢 𝛾3 ≠ 0 𝑜𝑢 𝛾4 ≠ 0 𝑜𝑢 𝛾5 ≠ 0

Ainsi, tout comme le test Breush-Pagan, le test de White se résume à un test sur
la nullité des coefficients du modèle d’explication de la variance des résidus.

Le test se met en œuvre en trois étapes :

1- Dans un premier temps, on approxime les 𝜎𝑖2 par les 𝜀̂𝑖2 obtenus de
l’estimation par MCO du modèle 𝑦𝑖 = 𝛽0 + 𝛽1 𝑥1𝑖 + 𝛽2 𝑥2𝑖 + 𝜀𝑖 .
2- Dans un second temps, on estime par MCO le modèle suivant :
𝜀̂𝑖2 = 𝛾0 + 𝛾1𝑥1𝑖 + 𝛾2 𝑥2𝑖 + 𝛾3 𝑥1𝑖
2 2
+ 𝛾4 𝑥2𝑖 + 𝛾5 (𝑥2𝑖 ∗ 𝑥2𝑖 ) + 𝑢𝑖
3- Dans un troisième temps, on calcule la statistique de test W telle que :
𝑊 = 𝑛𝑅 2 (4.8)

Où 𝑅 2 est le 𝑅 2 de l’estimation de l’étape 2. Sous 𝐻0 𝑅 2 doit être nul. Et d’une

𝑘(𝑘+1)
manière générale, la statistique W suit une loi de Khi-deux à
2
− 1 degrés de
liberté où k est le nombre de variables explicatives (y compris la constante). 𝑛
représente la taille de l’échantillon.

Lorsque la statistique W est supérieure au khi-deux tabulé, on rejette 𝐻0

retenant ainsi la présence d’hétéroscédasticité.

NB : lorsque la taille de l’échantillon est faible, on peut utiliser la seconde version

du test de White qui se présente sous la forme d’un test de Fisher. La statistique
de ce test est la suivante :

93
 (𝑆𝐶𝑅𝐻0 − 𝑆𝐶𝑅𝐻1 )
𝑊= ↝ 𝐹(𝑁 − 1 , 𝑁 − 𝑘 ) (4.9)
𝑆𝐶𝑅𝐻1

Où 𝑆𝐶𝑅𝐻0 est la somme des carrés des résidus sous 𝐻0 c'est-à-dire la somme des
carrés des résidus obtenu par régression de 𝜀̂𝑖2 uniquement sur la constante 𝛾0.
𝑆𝐶𝑅𝐻1 est la SCR obtenue en estimant par MCO l’équation complète. k est le
nombre de variables explicatives (y compris la constante).

4.2.4. Correction de l’hétéroscédasticité

4.2.4.1. Cas où la matrice de variance-covariance est connue

Dans le cas où la variance est connue, si les unités statistiques sont par exemple,
des entreprises, la variance peut être liée à un effet de taille notée 𝑧 (par ex. le
nombre de travailleurs). Dans ce cas, la matrice de variance-covariance s’écrit
comme suit:

𝜎𝜀21 0 … … 0 𝑧1 0 … … 0
0 𝜎𝜀22 … … … 0 𝑧2 … … …
= … … 𝜎𝜀2𝑖 … … = 𝜎02 … … 𝑧𝑖 … … = 𝜎02 𝑍
… … … … … … … … … …
(0 … … … 𝜎𝜀2𝑛 ) (0 … … … 𝑧𝑛 )

Où 𝑍 = 𝐷𝑖𝑎𝑔(𝑧1 , 𝑧2 , … , 𝑧𝑛 )

Les valeurs 𝑧𝑖 sont strictement positives.

Ainsi connaissant la matrice de variance-covariance, on peut corriger

l’hétéroscédasticité en utilisant les moindres carrées généralisé (MCG) comme
suit.

Soit le modèle suivant :

𝑌 = 𝑋𝛽 + 𝜖

Si nous multiplions cette équation par l’inverse de la racine carrée de la matrice

de variance-covariance, on obtient :
1 1 1
−2 𝑌 = −2 𝑋𝛽 + −2 𝜖

Ce qui peut se réécrire comme suit :

𝑌∗ = 𝑋∗𝛽 + 𝜖 ∗
1 1 1
Avec 𝑌 ∗ = −2 𝑌 ; 𝑋 ∗ = −2 𝑋 ; 𝜖 ∗ = −2 𝜖

94
En appliquant les MCO sur cette équation transformée, on obtient l’estimateur
des Moindres Carrées Généralisés qui se présente comme suit.
−1
𝛽̂𝑀𝐶𝐺 = (𝑋′−1 𝑋) (𝑋′−1 𝑌) (4.10)

Ce qui permet ainsi de corriger l’hétéroscédasticité.

Par ailleurs, on peut aussi montrer que cet estimateur est aussi équivalent à
𝛽̂𝑀𝐶𝐺 = (𝑋′𝑍 −1 𝑋)−1 (𝑋′𝑍 −1 𝑌) car en remplaçant  par 𝜎02 𝑍, on a :

𝜎02
𝛽̂𝑀𝐶𝐺 = (𝑋′(𝜎02 𝑍)−1 𝑋)−1 (𝑋′(𝜎02 𝑍)−1 𝑌) = 2
(𝑋′(𝑍)−1 𝑋)−1 (𝑋′(𝑍)−1 𝑌)
𝜎0

𝛽̂𝑀𝐶𝐺 = (𝑋′𝑍 −1 𝑋)−1 (𝑋′𝑍 −1 𝑌) (4.11)

Cette expression montre alors que l’estimateur des moindres carrés généralisés
(MCG) peut être construit sans qu’il soit nécessaire de se poser la question sur la
valeur de 𝜎02 .

Par ailleurs, il est possible de corriger le problème de l’hétéroscédasticité en

suivant les étapes décrites ci-dessous.

D’abord, construire la matrice H telle que :

1⁄ 0 … … 0
√𝑧1
0 1⁄ … … …
√𝑧2
𝐻= 1
… … ⁄√𝑧 … …
𝑖
… … … … …
0 … … … 1⁄
( √𝑧𝑛 )

A noter simplement que :

−1
𝑀′ 𝑀 = 𝑍 −1 = 𝜎02 

Ensuite, on multiplie tous les membres de l’équation 𝑌 = 𝑋𝛽 + 𝜖 par la matrice H,

on trouve :

𝑀𝑌 = 𝑀𝑋𝛽 + 𝑀𝜖

On peut simplement faire remarquer que 𝐸(𝑀𝜖) = 0 et que

𝑉𝐴𝑅(𝑀𝜖) = 𝑀𝑀 = 𝑀𝜎02 𝑍𝑀 = 𝜎02 𝐼 = 𝜎𝜀2 = 𝑐𝑠𝑡𝑒

Cette relation montre donc qu’en multipliant l’équation initiale par la matrice M,
on retrouve l’homoscédasticité. L’application des MCO sur le modèle transformé
se présente comme suit :

95
 𝛽̂𝑀𝐶𝑃 = (𝑋′𝑀𝑀𝑋)−1 (𝑋′𝑀𝑀𝑌)

En résumé, pour corriger l’hétéroscédasticité, il suffit de multiplier toute les

1
variables par l’inverse de la racine carrée de la variance des erreurs ( ). On dit
√ 𝜎𝑖2

alors qu’on a "sphéricisé " le modèle. On est donc ramené au modèle linéaire
classique sur lequel on peut appliquer les moindres carrés ordinaires. Dans le cas
d’un modèle linéaire multiple, on multiplie tous les vecteurs par l’inverse de la
racine carrée de la matrice de variance-covariance des perturbations.

L’estimateur obtenu en appliquant les moindres carrés ordinaires sur les

variables transformées est appelé estimateur Moindres Carrés Généralisés
(MCG). Cet estimateur est sans biais et optimal parmi les estimateurs sans bais
linéaires.

4.2.4.2. Cas où la matrice de variance-covariance est inconnue

Dans la plupart des cas, la matrice de variance-covariance  n’est pas connue. De

plus, il n’existe souvent aucune hypothèse sur la forme de l’hétéroscédasticité
permettant d’estimer la matrice de variance-covariance. Cependant, même en
l’absence de telle hypothèse des estimateurs ont été proposés dans le but de
pouvoir estimer la matrice de variance-covariance. L’estimateur le plus courant
est celui de White. Dans cet estimateur, la matrice de variance-covariance se
présente comme suit :

𝜀̂12 0 … … 0
0 𝜀̂22 … … …
̂= …
 … 𝜀̂𝑖2 … …
… … … … …
(0 … … … 𝜀̂𝑛2 )

Où les 𝜀̂𝑖 représentent les résidus de l’estimation du modèle initiale.

Bien que 𝜀̂𝑖2 soient des estimateurs biaisés des 𝜎𝑖2 , ils restent des estimateurs
convergents. Pour corriger l’hétéroscédasticité dans cette configuration, White
propose l’estimateur suivant :
−1
̂ −1 𝑋)
𝛽̂𝑀𝐶𝑄𝐺 = (𝑋′
−1
̂ 𝑌)
(𝑋′ (4.12)

En résumé, lorsque les variances 𝜎𝑖2 (ou la matrice de variance-covariance) ne

sont pas connue, il faut proposer une approximation de ces variances en se
servant des résidus au carré. Ces résidus seront ensuite utilisés pour transformer
les variables auquel on applique les MCO. L’estimateur des moindres carrés est
alors appelée Moindres Carrés Quasi-Généralisés(MCQG). Il faut noter que cet
estimateur n’est pas nécessairement optimal.

96
En résumé, lorsque la matrice de variance-covariance n’est pas connue, la
démarche de correction de l’hétéroscédasticité se présente comme suit :

- Estimer le modèle initial par MCO et récupérer les résidus 𝜀̂𝑖

- Approximer les variances individuelles 𝜎𝑖2 par les carrés 𝜀̂𝑖2
- Estimer l’équation traduisant la forme fonctionnelle de l’hétéroscédasticité
(formule de White)
- Utiliser les paramètres de cette estimation pour calculer les valeurs
prédites de 𝜎𝑖2 pour obtenir 𝜎̂𝑖2
1
- Multiplier les variables par l’inverse ( ) afin d’obtenir les variables
̂𝑖2
√𝜎

transformées
- Appliquer les MCO sur ce modèle transformé pour obtenir les paramètres.

4.3. Test d’autocorrélation des erreurs

La présence d’autocorrélation des erreurs correspond à la violation de l’hypothèse
𝐶𝑂𝑉(𝜀𝑖 , 𝜀𝑗 ) = 0. En effet on a 𝐶𝑂𝑉(𝜀𝑖 , 𝜀𝑗 ) = 𝜌 𝜎𝜀2𝑖 ≠ 0 où 𝜎𝜀2𝑖 est la variance des
erreurs et 𝜌 un paramètre compris entre -1 et 1. On est donc en présence
d’autocorrélation.

A noter, toutefois, qu’en présence d’autocorrélation, l’estimateur MCO reste

toujours sans biais mais sa variance n’est plus minimale. L’autocorrélation des
erreurs est, généralement, fréquente dans les séries temporelles ou dans les
données spatiales. Pour illustrer le problème d’autocorrélation, partons par
exemple d’un modèle de série temporelle dont l’équation est la suivante :

𝑦𝑡 = 𝛽0 + 𝛽1 𝑥𝑡 + 𝜀𝑡 ; 𝑡 = 1, 2, … , 𝑇

En supposant qu’il y a une autocorrélation d’ordre 1, la série des 𝜀𝑡 peut s’écrire

comme un processus autorégressif d’ordre 1 dit AR(1). Dans ce cas, on a
l’équation suivante :

𝜀𝑡 = 𝜌𝜀𝑡−1 + 𝑢𝑡 (4.13)

Où 𝑢𝑡 est un bruit blanc, indépendant et identiquement distribué, de moyenne 0

et de variance 𝜎𝑢2𝑡

Pour mettre en évidence l’autocorrélation des erreurs, il faut alors tester la

nullité du coefficient 𝜌 dans ce processus3. Plusieurs tests sont alors disponibles
notamment : le test de Durbin-Watson ou le test de Box-Pierce, etc.

3 Il faut noter que l’autocorrélation peut aussi être d’ordre supérieur.

97
4.3.1. Le test d’autocorrélation de Durbin-Watson
L’hypothèse nulle du test de Durbin-Watson est la suivante :

𝐻 :𝜌 = 0
{ 0
𝐻1 : 𝜌 ≠ 0

La statistique de test de Durbin-Watson s’écrit comme suit :

∑𝑇𝑡=2(𝜀̂𝑡 − 𝜀̂𝑡−1 )2
𝐷𝑊 = 2(1 − 𝜌̂) = (4.14)
∑𝑇𝑡=1(𝜀̂𝑡 )2

Il faut noter que la statistique DW est comprise entre 0 et 4. Si 𝜌̂ = −1

(autocorrélation négative), alors 𝐷𝑊 = 4 et si 𝜌̂ = 1 (autocorrélation positive),
alors 𝐷𝑊 = 0. Sous 𝐻0 , 𝜌̂ = 0, donc 𝐷𝑊 = 2. Ainsi, lorsque la statistique DW est
proche de 2, cela signifie une absence d’autocorrélation des erreurs. Dans ce cas,
on ne peut pas rejeter l’hypothèse nulle.

Cependant, pour une interprétation plus précise du test de Durbin-Watson, on se

réfère à une table qui donne les valeurs critiques (d1 et d2). Les valeurs d1 et d2
sont fournies dans la table de DW et présentées en fonction à la fois du nombre
d’observations et du nombre de variables explicatives. En fonction du seuil
d’erreur retenu (alpha), on lit dans la table les deux valeurs d1 et d2 avec
lesquelles on construit la table de décision suivante :
0 d1 d2 4-d2 4-d1 4
Autocorrélation positive ? Pas d’autocorrélation ? Autocorrélation négative

Les interprétation sont les suivantes :

𝐷𝑊 ∈ [0 ; 𝑑1] : Autocorrélation positive

𝐷𝑊 ∈]𝑑1 ; 𝑑2[ : On ne peut pas conclure
Si 𝐷𝑊 ∈ [𝑑2 ; 4 − 𝑑2] : Pas d’autocorrélation
Si 𝐷𝑊 ∈]4 − 𝑑2 ; 4 − 𝑑1[ : On ne peut pas conclure
Si 𝐷𝑊 ∈ [4 − 𝑑1 ; 4]: Autocorrélation positive.

Par exemple, supposons que nous ayons estimé un modèle linéaire simple (une
seule variable explicative) sur 17 observations. Supposons qu’à la suite de cette
estimation nous avons calculé le DW qui est égal à 1,05. Pour tester la présence
d’autocorrélation au seuil de 5%, nous suivons les étapes suivantes :

D’abord, dans la table de Durbin-Watson, les valeurs d1 et d2 qui correspondent

à un modèle avec une variable explicative k=1 (constante incluse dans la
régression) et le nombre d’observation n=17 sont respectivement 1,13 et 1,38.

98
Dans cette configuration, on remarque que DW est comprise entre 0 et 1,13. On
rejette alors H0 et conclut à une autocorrélation positive.

NB : Pour pouvoir utiliser la table de DW, plusieurs conditions doivent être

satisfaites. D’abord, le nombre d’observations doit être supérieur à 15 car il n’y
pas de valeurs tabulées pour les tailles d’échantillon en dessous de 15. Ensuite, le
modèle estimé doit inclure une constante car la table originale de DW est
construite à partir des modèles incluant une constante. Toutefois, il existe une
autre version de la table conçue pour les modèles sans constante. Enfin, la
variable dépendante retardée ne doit pas figurer parmi les régresseurs. Et si c’est
le cas il faudrait utiliser la statistique h de Durbin. En effet, lorsque le modèle est
de la forme 𝑦𝑡 = 𝛽0 + 𝛽1 𝑥𝑡 + 𝛽2 𝑦𝑡−1 + 𝜀𝑡 avec 𝜀𝑡 = 𝜌𝜀𝑡−1 + 𝑢𝑡 ; 𝑡 = 1, 2, … , 𝑇. Dans
cette configuration, la statistique de Durbin-Watson n’est pas directement
utilisable. Il faut alors apporter des corrections en utilisant la statistique de
Durbin qui se présente comme suit :

𝐷𝑊 𝑇
ℎ = (1 − )√ (4.15)
2 (1 − 𝑇 𝜎̂ 2 )
̂2
𝛽

Où 𝐷𝑊 est la statistique ordinaire de Durbin-Watson, 𝜎̂𝛽̂22 est la variance estimée

du coefficient 𝛽̂2, T est le nombre d’observations.

Sachant que 𝐷𝑊 = 2(1 − 𝜌̂) où 𝜌̂ est la valeur estimée du coefficient de

corrélation, alors, on peut montrer que :

𝑇
ℎ = 𝜌̂√ (4.16)
(1 − 𝑇 𝜎̂𝛽̂2 )
2

Les hypothèses du test sont équivalentes à celles de Durbin-Watson. En revanche

la statistique h suit une loi normale (0, 1). Ainsi, l’hypothèse du test se présente
comme suit :

𝐻0 : ℎ = 0 𝜌 = 0
{
𝐻1 : ℎ ≠ 0 𝜌 ≠ 0

En revanche, pour la règle de décision, on compare la valeur h calculée à la

valeur 𝑍1−𝛼 de la table de loi normale centrée réduite au seuil d’erreur 𝛼. Ainsi,
2

lorsque |ℎ| > 𝑍1−𝛼 , on rejette l’hypothèse nulle d’absence d’autocorrélation.

2

99
4.3.2. Le test d’autocorrélation de Box-Pierce
La statistique du test proposé par Box-Pierce est la suivante :
𝑝

𝑄𝐵𝑃 = 𝑇 ∑ 𝑟𝑗 2 𝑎𝑣𝑒𝑐
𝑗=1

∑𝑇𝑡=𝑗+1(𝜀̂𝑡 𝜀̂𝑡−𝑗 )
𝑟𝑗 =
∑𝑇𝑡=1(𝜀̂𝑡 )2

Cette statistique suit une loi de khi-deux à p degrés de liberté où p est le nombre
de retards considéré.
𝑝

𝑄𝐵𝑃 = 𝑇 ∑ 𝑟𝑗 2 ↝ 2 (𝑝) (4.17)

𝑗=1

Lorsque la statistique calculée est supérieure à la statistique de khi-deux lue

dans la table, on rejette l’hypothèse nulle d’absence d’autocorrélation.

4.3.3. Le test d’autocorrélation de Ljung-Box

Le test de Ljung-Box est une version améliorée du test de Box-Pierce. La
statistique de test se présente comme suit :
𝑝
𝑟𝑗 2
𝑄𝐿𝐵 = 𝑇(𝑇 + 2) ∑ ↝ 2 (𝑝) (4.18)
𝑇−𝑗
𝑗=1

Lorsque la statistique calculée est supérieure à la statistique de khi-deux lue

dans la table, on rejette l’hypothèse nulle d’absence d’autocorrélation.

Remarque : Les tests de Box-Pierce et de Ljung-Box sont plus généraux que

celui de Durbin-Watson, car ils permettent de détecter des autocorrélations
d’ordre supérieur. Ils sont qualifiés de test portemanteau car on peut augmenter
le nombre de retard, au fur et à mesure, lorsqu’on cherche des autocorrélations
d’ordre supérieur.

4.3.4. Correction de l’autocorrélation

L’estimateur MCO en présence d’autocorrélation est sans biais mais sa variance
n’est pas minimale. Il faut donc pouvoir apporter des corrections. Dans le cas d’un
modèle autorégressif d’ordre 1 tel que :

𝑦𝑡 = 𝛽0 + 𝛽1 𝑥𝑡 + 𝜀𝑡 ; 𝑡 = 1, 2, … , 𝑇

𝜀𝑡 = 𝜌𝜀𝑡−1 + 𝑢𝑡

100
𝐸(𝑢𝑡 ) = 0 ; 𝐸(𝑢𝑡 2 ) = 𝑉(𝑢𝑡 ) = 𝜎𝑢2 ; 𝐸(𝑢𝑡 𝜀𝑡−1 ) = 0 ; 𝐸(𝑢𝑡 𝑢𝑡′ ) = 0 ∀ 𝑡 ≠ 𝑡′

Pour un nombre de retard p, on peut montrer que 𝜀𝑡 s’écrit comme suit :

𝑝

𝜀𝑡 = 𝜌𝑝 𝜀𝑡−𝑝 + ∑ 𝜌𝑗 𝑢𝑡−𝑗
𝑗=1

Mais, on peut négliger le premier membre puisque :

𝜌𝑝 → 0 𝑠𝑖 𝑝 → ∞

Ainsi, on a :
𝑝

𝜀𝑡 = ∑ 𝜌𝑗 𝑢𝑡−𝑗
𝑗=1

On en déduit alors que 𝜀𝑡 est une fonction linéaire des 𝑢𝑡 .

En utilisant cette expression, calculons l’espérance, la variance et la covariance

des erreurs. On a :

Espérance :
𝑝 𝑝

𝐸(𝜀𝑡 ) = 𝐸 (∑ 𝜌 𝑢𝑡−𝑗 ) = ∑ 𝜌𝑗 𝐸(𝑢𝑡−𝑗 ) = 0

𝑗

𝑗=1 𝑗=1

𝐸(𝜀𝑡 ) = 0
Variance
𝑝

𝑉(𝜀𝑡 ) = 𝜎𝜀2 = 𝑉 (∑ 𝜌𝑗 𝑢𝑡−𝑗 ) = 𝑉(𝜌𝑢𝑡−1 + 𝜌2 𝑢𝑡−2 + ⋯ + 𝜌𝑝 𝑢𝑡−𝑝 )

𝑗=1

= 𝑉(𝜌𝑢𝑡−1 ) + 𝑉(𝜌 𝑢𝑡−2 ) + ⋯ + 𝑉(𝜌𝑝 𝑢𝑡−𝑝 ) car 𝐶𝑜𝑣 (𝑢𝑡 ; 𝑢𝑡′ ) = 𝐸(𝑢𝑡 𝑢𝑡′ ) = 0 ∀ 𝑡 ≠ 𝑡′
2

Ainsi :
2
𝑉(𝜀𝑡 ) = 𝜌𝐸[(𝑢𝑡−1 )2 ] + 𝜌2 𝐸[(𝑢𝑡−2 )2 ] + ⋯ + 𝜌𝑝 𝐸 [(𝑢𝑡−𝑝 ) ]
2
Or 𝐸[(𝑢𝑡−1 )2 ] = 𝐸[(𝑢𝑡−2 )2 ] = ⋯ = 𝐸 [(𝑢𝑡−𝑝 ) ] = 𝜎𝑢2
Donc 𝑉(𝜀𝑡 ) = (𝜌 + 𝜌2 + ⋯ + 𝜌𝑝 ) 𝜎𝑢2
1−𝜌𝑝
Or 𝜌 + 𝜌2 + ⋯ + 𝜌𝑝 =
1−𝜌
(somme p premier termes d’une suite géométrique de
raison 𝜌 de premier terme 1).
1 − 𝜌𝑝
𝑉(𝜀𝑡 ) = ( ) 𝜎𝑢2
1−𝜌
𝜎2
Mais comme 𝜌𝑝 → 0 𝑠𝑖 𝑝 → ∞ alors : 𝑉(𝜀𝑡 ) = 𝜎𝜀2 = (1−𝜌)
𝑢

Covariance
𝐶𝑜𝑣(𝜀𝑡 ; 𝜀𝑡−𝑝 ) = 𝐸(𝜀𝑡 𝜀𝑡−𝑝 ) = 𝜌𝑝 𝑉(𝜀𝑡−𝑝 ) = 𝜌𝑝 𝜎𝜀2

101
On peut donc en déduire le coefficient de corrélation 𝜌 comme suit :
𝐶𝑜𝑣(𝜀𝑡 ; 𝜀𝑡−𝑝 )
𝜌=
√𝑉(𝜀𝑡 ) √𝑉(𝜀𝑡−𝑝 )
Connaissant alors 𝜌, on peut alors proposer une correction de l’autocorrélation en
transformant le modèle autorégressif initial comme suit :

𝑦𝑡∗ = 𝑦𝑡 − 𝜌𝑦𝑡−1
{𝑥𝑡∗ = 𝑥𝑡 − 𝜌𝑥𝑡−1
𝛽0∗ = 𝛽0 (1 − 𝜌)

Avec cette transformation, l’équation à estimer se présente alors comme suit :

𝑦𝑡∗ = 𝛽0∗ + 𝛽1∗ 𝑥𝑡∗ + 𝜀𝑡∗

Ce modèle peut donc être estimé par MCO afin d’obtenir les paramètres 𝛽0∗ et 𝛽1∗ .

Cependant, 𝜌 n’étant pas connu, il faut alors utiliser une approximation de cette
valeur afin de poursuivre la correction. Plusieurs méthodes ont été proposées
dont les principales sont : la méthode Cochranne-Orcutt, la méthode de Durbin
mais aussi d’autres méthodes comme celle de Hildreth-Lu.

4.3.4.1. La méthode de correction de Cochranne-Orcutt

La méthode de correction de l’autocorrélation proposée par Cochranne-Orcutt est

une méthode qui se réalise en quatre étapes de manière itérative.

En partant de l’équation 𝑦𝑡 = 𝛽0 + 𝛽1 𝑥𝑡 + 𝜀𝑡 ; où 𝜀𝑡 = 𝜌𝜀𝑡−1 + 𝑢𝑡 , les étapes sont

les suivantes :

1- Dans la première étape, on estime l’équation par MCO pour obtenir les
paramètres 𝛽̂0 et 𝛽̂1.
2- Dans la seconde étape, on utilise les résidus de cette première estimation
pour calculer le coefficient de corrélation 𝜌̂1 en utilisant la formule de Box-
Pierce :

∑𝑇𝑡=2(𝜀̂𝑡 𝜀̂𝑡−1 )
𝜌̂1 =
∑𝑇𝑡=1(𝜀̂𝑡 )2

3- Dans la troisième étape, on utilise ce coefficient pour calculer les variables

transformées telles que :

̂1 𝑦𝑡−1
𝑦∗𝑡 = 𝑦𝑡 − 𝜌
{
̂ 1 𝑥𝑡−1
𝑥∗𝑡 = 𝑥𝑡 − 𝜌

4- Dans la quatrième étape, on estime par MCO le modèle transformé:

102
 ∗ ∗ ∗ ∗ ∗
𝑦𝑡,1 = 𝛽0,1 + 𝛽1,1 𝑥𝑡,1 + 𝜀𝑡,1

En utilisant les informations de cette quatrième étape, on revient à la première

étape. En effet, après avoir estimé le modèle transformé, on récupère les résidus
et on calcule de nouveau le coefficient de corrélation 𝜌̂2 (reprise étape 1 et 2). On
transforme de nouveau les variables (déjà transformées dans la première
itération), on forme la nouvelle équation transformée, qui est ensuite estimée par
MCO. Cette équation se présente alors comme suit :
∗ ∗ ∗ ∗ ∗
𝑦𝑡,2 = 𝛽0,2 + 𝛽1,2 𝑥𝑡,2 + 𝜀𝑡,2

Et les paramètres estimés sont : 𝛽̂0,2

∗
et 𝛽̂1,2
∗
. A la i-ième itération, l’équation
transformée se présente comme suit :
∗ ∗ ∗ ∗ ∗
𝑦𝑡,𝑖 = 𝛽0,𝑖 + 𝛽1,𝑖 𝑥𝑡,𝑖 + 𝜀𝑡,𝑖

Et les paramètres estimés sont : 𝛽̂0,𝑖

∗
et 𝛽̂1,𝑖
∗

Ce processus itératif continue jusqu’à ce que l’écart entre deux valeurs

consécutives 𝜌̂𝑖+1 et 𝜌̂𝑖 soit significativement négligeable. Cet écart est bien sûr
évalué de manière arbitraire. Mais il doit être apprécié par rapport à l’écart
initial entre les deux premières valeurs de 𝜌̂ (𝜌̂1 et 𝜌̂2 ).

4.3.4.2. La méthode de correction de Durbin

La méthode de Durbin est une méthode correction qui se réalise en deux étapes.
Dans la première étape, on estime l’équation suivante :

𝑦𝑡 = 𝛽0 + 𝜌𝑦𝑡−1 + 𝛽1 𝑥𝑡 − 𝛽2 𝑥𝑡−1 + 𝑣𝑡

Avec la contrainte que 𝛽2 = 𝜌𝛽1. L’estimation de cette équation permet donc

d’obtenir 𝜌̂.

Dans la seconde étape, on utilise la valeur estimée de 𝜌 pour calculer les

variables transformées :

𝑦𝑡∗ = 𝑦𝑡 − 𝜌̂1 𝑦𝑡−1

{
𝑥𝑡∗ = 𝑥𝑡 − 𝜌̂1 𝑥𝑡−1

Ces variables transformées permettent ensuite de formuler l’équation :

𝑦𝑡∗ = 𝛽0∗ + 𝛽1∗ 𝑥𝑡∗ + 𝜀𝑡∗

Cette équation est alors estimée par MCO pour déduire les paramètres.

103
4.3.4.3. Autres méthodes de correction de l’autocorrélation

Il existe diverses autres méthodes de correction. Nous évoquons par exemple la

méthode de Hildreth-Lu. La méthode de Hildreth-Lu consiste à choisir plusieurs
de 𝜌 entre -1 et 1, pour pouvoir ensuite estimer un grand nombre de fois
l’équation transformée 𝑦𝑡∗ = 𝛽0∗ + 𝛽1∗ 𝑥𝑡∗ + 𝜀𝑡∗ . La méthode consiste alors à retenir
l’estimation qui fournit la plus faible somme des carrés des résidus. Par ailleurs,
il faut aussi signaler que l’autocorrélation ne se présente pas sous la forme d’un
processus AR, les méthodes précédemment discutées ne sont plus valables. Il faut
alors utiliser d’autres méthodes. Par exemple, lorsque l’autocorrélation se
présente sous la forme d’un moyenne mobile telle que :

𝑦𝑡 = 𝛽0 + 𝜌𝑦𝑡−1 + 𝛽1 𝑥𝑡 − 𝛽2 𝑥𝑡−1 + 𝜀𝑡

𝜀𝑡 = 𝑢𝑡 + 𝜌𝑢𝑡−1

Pour éliminer cette forme d’autocorrélation, il faut adopter la méthode

d’estimation par maximum de vraisemblance.

4.4. Autres cas de violation des hypothèses de base du

modèle linéaire
En plus de la violation des hypothèses de normalité, d’homocédasticité, d’absence
d’autocorrélation, il existe d’autres cas de violation qui rendent invalide le modèle
linéaire de base.

L’un de ces cas de violation est la corrélation entre les variables explicatives et
les erreurs (𝐶𝑂𝑉(𝑥𝑖 , 𝜀𝑖 ) ≠ 0). Ce problème est généralement connu sous le terme
d’endogéneité. La variable 𝑥𝑖𝑘 est dite endogène lorsqu’elle est liée aux erreurs du
modèle. Les variables explicatives non corrélées avec les erreurs sont dites
variables exogènes. La correction de l’endogénéité nécessite généralement
l’utilisation de la méthode de variable instrumentale (MVI). La MVI consiste à
choisir des variables supplémentaires (appelées instruments) non corrélées avec
les erreurs mais fortement corrélés avec la variable. Ces instruments doivent
avoir un pouvoir explicatif suffisamment fort sur la variable endogène. Mais elles
ne doivent avoir aucune corrélation avec la variable dépendante du modèle. En
présence d’endogénéité, la méthode communément utilisée pour estimer le
modèle est celle des Doubles Moindres Carrés (DMC) ou Two-stage least squares
(2SLS). La DMC consiste dans un premier temps à régresser par MCO la
variable endogène sur ses instruments et sur les autres variables exogènes du
modèle. Et dans un second temps, à calculer la valeur prédite de la variable
endogène et introduire cette valeur prédite dans le modèle initiale pour ensuite
estimer celui-ci par MCO. Il existe d’autres méthodes d’estimation telles que la
méthode des moments généralisées, la méthode de maximum de vraisemblance à

104
information limitée, etc…Ces méthodes d’estimations n’ont pas été développées
dans ce document.

En dehors du problème d’endogéneité, on peut aussi signaler d’autres problèmes

tels que la multicolinéarité, la mauvaise spécification du modèle ou l’omission des
variables explicatives pouvant chacun aboutir à biaiser les estimations du modèle
linéaire. Il convient donc tester l’existence de ces problèmes et le cas échéant les
corriger avant toute estimation.

105
 CHAPITRE 5. MODELES A VARIABLE
DEPENDANTE DICHOTOMIQUE

5.1. Présentation
Dans les précédents chapitres, les variables dépendantes étaient supposées être
de nature continue. Cependant, dans de nombreuses estimations économétriques
on s’intéresse à des variables de nature qualitative (exemples : choix entre deux
moyens de transport, défaut de paiement d’un client, échec à un examen
d’évaluation, etc…). Dans ce chapitre, nous nous intéressons essentiellement aux
des modèles dont la variable dépendante est qualitative binaire (encore appelée
variable dichotomique).

Une variable dichotomique est une variable qualitative traduisant la présence ou

l’absence d’un évènement probabiliste. La présence de l’évènement est
généralement codée 1 et l’absence de l’évènement codée par 0. Une variable
dichotomique est donc une variable qui prend deux valeurs 0 et 1.

Dans un modèle à variable dépendante binaire, il s’agit d’étudier la probabilité

d’observer 1. Par exemple, on souhaite analyser la probabilité de réussite à un
examen d’un groupe d’étudiant. On considère un échantillon d’étudiants qui ont
déjà passé l’examen. Et après la proclamation des résultats, on relève sur chacun
des individus s’il a réussi ou pas. Pour cela, on construit une variable binaire qui
prend 1 si l’individu a réussi à l’examen et 0 sinon. Soit 𝑦𝑖 cette variable
dépendante dichotomique. Ensuite, on réunit un ensemble de variables
explicatives (telles que le nombre le nombre d’heures de révision, etc..) afin
d’élaborer le modèle.

Dans tout ce qui suit, 𝑦𝑖 sera codée de la manière suivante :

1 𝑠𝑖 𝑙 ′ 𝑖𝑛𝑑𝑖𝑣𝑖𝑑𝑢 𝑝𝑟é𝑠𝑒𝑛𝑡𝑒 𝑙𝑒 𝑝ℎé𝑛𝑜𝑚è𝑛𝑒 é𝑡𝑢𝑑𝑖é

𝑦𝑖 = { (5.1)
0 𝑠𝑖𝑛𝑜𝑛

Pour étudier la probabilité pour que 𝑦𝑖 = 1, on dispose d’un ensemble de 𝑘

variables explicatives 𝑥𝑖1 , 𝑥𝑖2 , … , 𝑥𝑖𝑘 que l’on peut rassembler dans un vecteur 𝑋𝑖 .
Le modèle de probabilité se présente alors comme suit :

𝑃(𝑦𝑖 = 1/𝑋𝑖 ) = 𝐹(𝛽0 + 𝛽1 𝑥𝑖1 + 𝛽2 𝑥𝑖2 + ⋯ + 𝛽𝑘 𝑥𝑖𝑘 ) = 𝐹(𝑋𝑖 𝛽) (5.2)

Où 𝑃(𝑦𝑖 = 1/𝑋𝑖 ) représente la probabilité que 𝑦𝑖 soit égal à 1 conditionnellement

aux caractéristiques 𝑥𝑖1 , 𝑥𝑖2 , … , 𝑥𝑖𝑘 . 𝛽 est un vecteur constitués de 𝑘 + 1
paramètres : 𝛽0, 𝛽1, 𝛽2 , …𝛽𝑘 . 𝐹(. ) est la fonction de répartition de la quantité 𝛽0 +
𝛽1 𝑥𝑖1 + 𝛽2 𝑥𝑖2 + ⋯ + 𝛽𝑘 𝑥𝑖𝑘 (𝑋𝑖 𝛽 sous la forme matricielle). Les propriétés de la

106
fonction 𝐹(. ) sont telles que pour tout variable z, lim 𝐹(𝑧) = 0 et lim 𝐹(𝑧) = 1.
𝑍→−∞ 𝑍→+∞
𝐹(. ) est donc une fonction continue positive et comprise entre 0 et 1.

En se basant sur ces précédentes propriétés, le modèle à choix discret s’écrit

comme suit :

𝑃(𝑦𝑖 = 1) = 𝐹(𝑋𝑖 𝛽) (5.3𝑎)

{
𝑃(𝑦𝑖 = 0) = 1 − 𝐹(𝑋𝑖 𝛽) (5.3𝑏)

D’une manière générale, le modèle s’écrit comme suit :

𝑦𝑖 = 𝐹(𝑋𝑖 𝛽) + 𝜀𝑖 (5.4)

Où 𝜀𝑖 est le terme d’erreur.

A travers cette expression on peut faire une analogie avec le modèle linéaire. On
constatera, en effet, que dans le modèle de probabilité 𝑦𝑖 est expliquée non pas
avec la valeur directe de 𝑋𝑖 𝛽 mais avec une transformation monotone croissante
𝐹(. ) qui représente la fonction de répartition.

S’agissant du terme d’erreur 𝜀𝑖 , il présente les propriétés suivantes :

𝐸(𝜀𝑖 ) = 0

𝐸(𝜀𝑖 𝜀𝑗 ) = 0

Par ailleurs, comme 𝑦𝑖 ne prend que deux valeurs 0 et 1, on peut étudier

directement la distribution de 𝜀𝑖 . En effet :

Pour 𝑦𝑖 = 1 , 𝜀𝑖 = 1 − 𝐹(𝑋𝑖 𝛽) avec une probabilité égale à 𝐹(𝑋𝑖 𝛽)

Pour 𝑦𝑖 = 0 , 𝜀𝑖 = −𝐹(𝑋𝑖 𝛽) avec une probabilité égale à 1 − 𝐹(𝑋𝑖 𝛽)

Connaissant ces deux valeurs de 𝜀𝑖 , on peut calculer son esperance. En effet :

𝐸(𝜀𝑖 ) = 𝑃(𝑦𝑖 = 0)(𝜀𝑖 /𝑦𝑖 = 0) + 𝑃(𝑦𝑖 = 1)(𝜀𝑖 /𝑦𝑖 = 1)

𝐸(𝜀𝑖 ) = [1 − 𝐹(𝑋𝑖 𝛽)][−𝐹(𝑋𝑖 𝛽)] + [𝐹(𝑋𝑖 𝛽)][1 − 𝐹(𝑋𝑖 𝛽)]

𝐸(𝜀𝑖 ) = 0

Ce qui montre alors que les erreurs sont, en moyenne, nulles dans le modèle
dichotomique.

En revanche, l’une des hypothèses systématiquement violée dans le modèle

dichotomique est celle de l’homocédasticité. En effet, l’homocédasticité suppose
que la variance de 𝜀𝑖 est constante (soit 𝑉(𝜀𝑖 ) = 𝜎 2 ). Cependant cette hypothèse ne
peut pas être respectée dans le modèle dichotomique car les valeurs des 𝜀𝑖

107
dépendent des variables explicatives 𝑋𝑖 . Ce qui crée une hétéroécédasticité telle
que 𝑉(𝜀𝑖 ) = 𝜎𝑖2 ≠ 𝜎 2 . En effet :

𝑉(𝜀𝑖 ) = 𝐸(𝜀𝑖2 ) = 𝑃(𝑦𝑖 = 0)(𝜀𝑖2 /𝑦𝑖 = 0) + 𝑃(𝑦𝑖 = 1)(𝜀𝑖2 /𝑦𝑖 = 1)

𝑉(𝜀𝑖 ) = [1 − 𝐹(𝑋𝑖 𝛽)][−𝐹(𝑋𝑖 𝛽)]2 + [𝐹(𝑋𝑖 𝛽)][1 − 𝐹(𝑋𝑖 𝛽)]2

𝑉(𝜀𝑖 ) = [1 − 𝐹(𝑋𝑖 𝛽)][𝐹(𝑋𝑖 𝛽)]

𝑉(𝜀𝑖 ) = 𝐹(𝑋𝑖 𝛽) − [𝐹(𝑋𝑖 𝛽)]2 (5.5)

Cette variance dépendant de la valeur de 𝑋𝑖 , par conséquent, elle est

hétéroscédastique.

Au final, les caractéristiques fondamentales d’un modèle à variable dépendante

dichotomique sont les suivantes :

𝑦𝑖 ∈ {0 , 1 }
𝐸(𝑦𝑖 ) = 𝐹(𝑋𝑖 𝛽)
𝐸(𝜀𝑖 ) = 0 (5.6)
𝑉(𝜀𝑖 ) = [1 − 𝐹(𝑋𝑖 𝛽)][𝐹(𝑋𝑖 𝛽)]
{𝐶𝑂𝑉(𝜀𝑖 , 𝜀𝑖 ) = 0 ∀ 𝑖 ≠ 𝑗

5.2. Choix de la fonction 𝑭(. ) et nature du modèle

La détermination du type de modèle d’estimation dépend du choix de la fonction
de répartition F(.). Ce choix n’est a priori non contraint. Cependant, trois
principaux modèles sont généralement utilisés : le modèle probit, le modèle logit
et le modèle de probabilité linéaire.

Lorsque F(.) est la fonction de répartition de la loi normale, le modèle est dit
probit. En revanche lorsque la fonction de répartition choisie est celle de la loi
logistique, le modèle est dit logit. Enfin, lorsque la fonction choisie est une
fonction identité de 𝑋𝑖 𝛽, le modèle est dit de probabilité linéaire (MPL). Dans ce
dernier cas, les paramètres du modèle sont estimés comme dans le modèle
linéaire par les moindres carrés ordinaires.

5.2.1. Le modèle probit

Le modèle probit correspond au choix de la fonction de répartition de la loi
normale pour traduire la fonction F(.). On sait aussi que par définition la fonction
de répartition est la sommation (ou l’intégrale) de la fonction de densité sur un
certain espace. Pour la loi normale, cette fonction de répartition se présente
comme suit :
𝑧
𝐹(𝑧) = ∫ 𝜙(𝑡) 𝑑𝑡 = 𝛷(𝑧)
−∞

108
Où 𝜙(𝑡) est la fonction de densité de la loi normale centrée réduite et 𝛷(𝑧) sa
𝑡2
1
fonction de répartition. Sachant que (𝑡) = 𝑒 − 2 , on peut alors écrire :
√2𝜋

𝑧
1 −𝑡 2
𝐹(𝑧) = 𝛷(𝑧) = ∫ ( 𝑒 2 ) 𝑑𝑡 (5.7)
−∞ √2𝜋

Les fonctions F(.) et 𝛷(𝑧) sont définies de telle sorte que :

lim 𝐹(𝑧) = lim 𝛷(𝑧) = 0 et lim 𝐹(𝑧) = lim 𝛷(𝑧) = 1.

𝑍→−∞ 𝑍→−∞ 𝑍→+∞ 𝑍→+∞

𝑑𝐹(𝑧)
Par ailleurs, 𝜙(𝑡) = 𝐹 ′ (𝑡) = 𝑓(𝑡) = .
𝑑𝑧

Etant donné ces propriétés, le modèle se présente comme suit :

𝑋𝑖 𝛽 𝑡2
1 −
𝑃(𝑦𝑖 = 1/𝑋𝑖 ) = 𝐹(𝑋𝑖 𝛽) = 𝛷(𝑋𝑖 𝛽) = ∫ ( 𝑒 2 ) 𝑑𝑡 (5.7)
−∞ √2𝜋

5.2.2. Le modèle logit

Le modèle logit correspond au choix de la fonction logistique définie telle que
pour une variable z, on a :

𝑒𝑧
𝐹(𝑧) =
1 + 𝑒𝑧

En divisant le numérateur et le dénominateur par 𝑒 𝑧 , on retrouve :

1
𝐹(𝑧) =
1 + 𝑒 −𝑧

La fonction de répartition de la loi logistique peut également se déduire de la

fonction de densité telle que :
𝑧
𝐹(𝑧) = ∫ 𝜙(𝑡) 𝑑𝑡 = 𝛷(𝑧)
−∞

Où 𝜙(𝑡) est la fonction de densité de la loi logistique définie comme suit :

𝑒𝑧 𝑒 2𝑧
𝜙(𝑡) = −
1 + 𝑒 𝑧 (1 + 𝑒 𝑧 )2

Les fonctions F(.) et 𝛷(𝑧) sont définies de telle sorte que lim 𝐹(𝑧) = lim 𝛷(𝑧) =
𝑍→−∞ 𝑍→−∞
′ (𝑡) 𝑑𝐹(𝑧)
0 et lim 𝐹(𝑧) = lim 𝛷(𝑧) = 1. Par ailleurs, 𝜙(𝑡) = 𝐹 = 𝑓(𝑡) =
𝑍→+∞ 𝑍→+∞ 𝑑𝑧

Etant donné ces propriétés, le modèle se présente comme suit :

109
 1
𝑃(𝑦𝑖 = 1/𝑋𝑖 ) = 𝐹(𝑋𝑖 𝛽) = (5.8)
1 + 𝑒 −𝑋𝑖 𝛽

5.3. Définition du modèle dichotomique à partir d’une

variable latente
Les modèles à variables dépendantes dichotomiques sont souvent définies à
partir d’une variable latente, c’est-à-dire une variable reflétant un processus
inobservable qui gouverne la réalisation de la variable dichotomique observée.
Par exemple, considérons un étudiant très autonome et qui, pour préparer son
examen de fin d’année, a l’habitude de réviser seul. Supposons maintenant qu’on
vienne lui proposer d’adhérer à un club de révision composés d’étudiants de
niveaux plus ou moins hétérogènes. Le choix de cet étudiant d’adhérer ou pas à ce
groupe de révision est soumis à un processus latent. En effet, lorsque l’utilité
procurée par l’adhésion au groupe de révision dépasse d’un certain seuil l’utilité
d’une révision personnelle, alors l’étudiant choisira d’adhérer au groupe de
révision. Dans ce cas, la variable dichotomique observée prend 1. En revanche
lorsque l’utilité procurée par l’adhésion au groupe de révision est en dessous de
l’utilité d’une révision personnelle, l’étudiant n’adhèrera pas, il choisira une
révision personnelle. Dans ce cas, la variable dichotomique d’adhésion prend 0.

Soit 𝑦𝑖∗ , la différence entre l’utilité procurée par l’adhésion à une groupe de
révision et celle procurée par une révision personne, le choix de l’étudiant peut
être décrit par le processus latent suivant :

𝑦𝑖 = 1 𝑠𝑖 𝑦𝑖∗ > 0
{ (5.9)
𝑦𝑖 = 0 𝑠𝑖 𝑦𝑖∗ ≤ 0

Où z est un seuil inobservable.

La définition d’un modèle dichotomique à partir de ce processus consiste à

supposer que la variable latente est régie par un modèle linéaire 𝑦𝑖∗ telle que :

𝑦𝑖∗ = 𝑋𝑖 𝛽 + 𝑢𝑖 (5.10)

Où 𝑦𝑖∗ est la variable latente inobservée, 𝑋𝑖 le vecteur des caractéristiques

observables qui gouvernent ce processus latent et 𝛽 le vecteur des paramètres. 𝑢𝑖
représente ici le terme d’erreur du modèle latent. Ce terme d’erreur respecte les
propriétés de base comme celles énoncées dans le modèle linéaire. En particulier,
on a :

𝐸(𝑢𝑖 ) = 0

𝑉(𝑢𝑖 ) = 𝜎𝑢2

110
En se basant sur ces propriétés et en supposant que la série des résidus est
distribuée selon une fonction de réparation F (.), on peut alors poser que :

𝑃(𝑦𝑖 = 1) = 𝑃(𝑦𝑖∗ > 0) = 𝑃(𝑋𝑖 𝛽 + 𝑢𝑖 > 0) = 𝑃(𝑢𝑖 > −𝑋𝑖 𝛽)

= 1 − 𝑃(𝑢𝑖 ≤ −𝑋𝑖 𝛽) = 1 − 𝐹(−𝑋𝑖 𝛽)

Si la loi de la distribution de 𝑢𝑖 est symétrique, on a 𝐹(−𝑋𝑖 𝛽) = 1 − 𝐹(𝑋𝑖 𝛽). Par

conséquent

𝑃(𝑦𝑖 = 1) = 1 − [1 − 𝐹(𝑋𝑖 𝛽)] = 𝐹(𝑋𝑖 𝛽)

Ce qui permet alors de retrouver :

𝑃(𝑦𝑖 = 1) = 𝐹(𝑋𝑖 𝛽)

De la même manière, on peut montrer que :

𝑃(𝑦𝑖 = 0) = 1 − 𝐹(𝑋𝑖 𝛽)

On retrouve donc exactement les mêmes formulations données précédemment.

De plus, en supposant que la série 𝑢𝑖 est distribuée selon une loi normale (resp.
logistique) et qu’il est indépendant des variables explicatives, on obtient le
modèle Probit (resp. Logit).

5.4. Estimation du modèle dichotomique

5.4.1. Méthode de maximum de vraisemblance (MV)
Soit le modèle dichotomique suivant :

𝑦𝑖 = 𝐹(𝑋𝑖 𝛽) + 𝜀𝑖

L’estimation du modèle dichotomique par la méthode de maximum de

vraisemblance consiste à choisir le vecteur de paramètres 𝛽 de façon à maximiser
la vraisemblance de 𝑦𝑖 .

La probabilité d’observer 𝑦𝑖 pour un individu peut d’abord s’écrire comme suit :

𝑃(𝑦𝑖 /𝑋𝑖 ) = [𝑃(𝑦𝑖 = 1/𝑋𝑖 )]𝑦𝑖 [1 − 𝑃(𝑦𝑖 = 1/𝑋𝑖 )]1−𝑦𝑖

𝑃(𝑦𝑖 /𝑋𝑖 ) = [𝐹(𝑋𝑖 𝛽)]𝑦𝑖 [1 − 𝐹(𝑋𝑖 𝛽)]1−𝑦𝑖

La fonction de vraisemblance de 𝑦𝑖 peut donc se présenter comme suit :

𝑛

𝐿(𝛽) = ∏([𝐹(𝑋𝑖 𝛽)]𝑦𝑖 [1 − 𝐹(𝑋𝑖 𝛽)]1−𝑦𝑖 )

𝑖=1

111
Maximiser la fonction de vraisemblance équivaut aussi à maximiser le
logarithme de la fonction de la fonction de vraisemblance. C’est pourquoi, on
préfère d’abord calculer la fonction 𝑙𝑜𝑔𝐿(𝛽).
𝑛

𝑙𝑜𝑔𝐿(𝛽) = ∑{𝑦𝑖 𝑙𝑜𝑔[𝐹(𝑋𝑖 𝛽)] + (1 − 𝑦𝑖 )𝑙𝑜𝑔[1 − 𝐹(𝑋𝑖 𝛽)]}

𝑖=1

Le maximum de cette fonction s’obtient en dérivant par rapport au vecteur de

paramètres 𝛽. Ainsi, on obtient ainsi un vecteur de dérivés encore appelé vecteur
gradient 𝐺(𝛽) :
𝑛
𝜕𝑙𝑜𝑔𝐿(𝛽) 𝑦𝑖 1 − 𝑦𝑖
= 𝐺(𝛽) = ∑ {( ) 𝐹 ′(𝑋𝑖 𝛽)𝑋𝑖 − ( ) 𝐹′(𝑋𝑖 𝛽)𝑋𝑖 }
𝜕𝛽 𝐹(𝑋𝑖 𝛽) 1 − 𝐹(𝑋𝑖 𝛽)
𝑖=1

Or 𝐹′(𝑋𝑖 𝛽) = 𝑓(𝑋𝑖 𝛽), ce qui implique que

𝑛
𝜕𝑙𝑜𝑔𝐿(𝛽) 𝑦𝑖 1 − 𝑦𝑖
= 𝐺(𝛽) = ∑ {( ) 𝑓(𝑋𝑖 𝛽)𝑋𝑖 − ( ) 𝑓(𝑋𝑖 𝛽)𝑋𝑖 }
𝜕𝛽 𝐹(𝑋𝑖 𝛽) 1 − 𝐹(𝑋𝑖 𝛽)
𝑖=1

𝑛
𝑦𝑖 − 𝐹(𝑋𝑖 𝛽)
𝐺(𝛽) = ∑ {𝑓(𝑋𝑖 𝛽)𝑋𝑖 ( )}
𝐹(𝑋𝑖 𝛽)(1 − 𝐹(𝑋𝑖 𝛽))
𝑖=1

𝑛
𝑦𝑖 − 𝐹(𝑋𝑖 𝛽)
𝐺(𝛽) = 0  ∑ {𝑓(𝑋𝑖 𝛽)𝑋𝑖 ( )} = 0 (5.11)
𝐹(𝑋𝑖 𝛽)(1 − 𝐹(𝑋𝑖 𝛽))
𝑖=1

Dans le cas du modèle logit, l’expression du gradient se simplifie encore

davantage. Cette forme simplifiée se présente alors comme suit :
𝑛

𝐺(𝛽) = ∑(𝑦𝑖 − 𝐹(𝑋𝑖 𝛽))𝑋𝑖

𝑖=1

Cette propriété provient du fait que pour la loi logistique, on a :

𝑒 𝑋𝑖 𝛽 𝑒 2𝑋𝑖 𝛽
𝑓(𝑋𝑖 𝛽) = − = 𝐹(𝑋𝑖 𝛽)[1 − 𝐹(𝑋𝑖 𝛽)]
1 + 𝑒 𝑋𝑖 𝛽 (1 + 𝑒 𝑋𝑖 𝛽 )2

𝛽 étant de dimension k+1, on obtient alors un système de k+1 équations à k+1

inconnus correspondants aux paramètres. Il ne reste plus alors qu’à spécifier la
fonction de distribution F (.) pour obtenir la forme fonctionnelle des équations à
résoudre. Cependant la log vraisemblance étant non linéaire (à cause notamment
des expressions de 𝑓(𝑋𝑖 𝛽) et 𝐹(𝑋𝑖 𝛽)), il n’est pas possible de donner une
expression analytique simple de ces estimateurs, et leur calcul se fait
généralement par la mise en œuvre d’un algorithme d’optimisation. Plusieurs
algorithmes ont, à cet effet, été élaborés. On dénombre principalement les
112
algorithmes de Newton Raphson, de Berndt-Hall-Hall-Hausman, de Davidon-
Fletcher-Powell, de Broyden-Fletcher-Goldfarb-Shanno. Mais quel que soit
l’algorithme d’optimisation retenue, la démarche de résolution consiste à
maximiser la fonction de logvraisemblance en partant des conditions du premier
ordre. Cependant, compte tenu de l’absence de solution analytique, le choix
optimal du paramètre 𝛽 doit être déduit par un processus itératif. Cette
démarche itérative se décrit comme suit.

Dans un premier temps, des valeurs initiales sont attribuées aux k+1 éléments
du vecteur 𝛽. C’est la définitions des conditions initiales 𝛽̂𝑖0 .

Dans un second temps, on choisit un autre vecteur 𝛽̂𝑖1 telle que 𝑙𝑜𝑔𝐿(𝛽̂𝑖1 ) ≥
𝑙𝑜𝑔𝐿(𝛽̂𝑖0 ). Ce choix continue séquentiellement jusqu’à ce que la condition d’arrêt
soit satisfaite (i.e convergence).

La convergence est atteinte lorsque la variation de 𝛽̂ ou de 𝑙𝑜𝑔𝐿(𝛽̂ ) entre deux

itérations consécutives devient inférieur à un certain seuil (appelé seuil de
tolérance, défini arbitrairement).

5.4.2. Propriétés des estimateurs MV

Sous les hypothèses de base du modèle dichotomique, l’estimateur du maximum
de vraisemblance 𝛽̂ de 𝛽 est un estimateur convergent et suit asymptotiquement
une loi normale de moyenne 𝛽 et de matrice de variance covariance égale à
l’inverse de la matrice d’information de Fischer I (𝛽) évaluée au point 𝛽.

√𝑛(𝛽̂ − 𝛽) ↝ 𝑁[𝛽, 𝐼(𝛽)−1 ] (5.12)

Où 𝐼(𝛽) est la matrice d’information de Fisher du vecteur de paramètre 𝛽.

Matrice Hessienne et matrice d’information de Fisher d’un modèle

dichotomique

La matrice Hessienne associée à la logvraisemblance d’un modèle

dichotomique se définit comme la dérivée du vecteur gradient. Elle correspond
donc à la dérivée seconde de la fonction de logvraisemblance du modèle. Elle se
définit comme suit :

𝜕 2 𝑙𝑜𝑔𝐿(𝛽)
𝐻(𝛽) = (5.13)
𝜕𝛽𝜕𝛽 ′

113
 𝑛
𝑦𝑖 1 − 𝑦𝑖
𝐻(𝛽) = (− ∑ [ + ] [𝑓(𝑋𝑖 𝛽)]2 𝑋′𝑖 𝑋𝑖 )
[𝐹(𝑋𝑖 𝛽)] 2 [1 − 𝐹(𝑋𝑖 𝛽)]2
𝑖=1
𝑛
𝑦𝑖 − 𝐹(𝑋𝑖 𝛽)
+ (∑ [ ] 𝑓′(𝑋𝑖 𝛽)𝑋′𝑖 𝑋𝑖 )
𝐹(𝑋𝑖 𝛽)(1 − 𝐹(𝑋𝑖 𝛽))
𝑖=1

Où F(.) est la fonction de répartition, f(.) la fonction de densité et f’(.) la dérivée

première de la fonction de densité.

La matrice d’information de Fisher se définit comme l’opposé de l’espérance

de la matrice Hessienne.

𝜕 2 𝑙𝑜𝑔𝐿(𝛽)
𝐼(𝛽) = −𝐸(𝐻(𝛽)) = −𝐸 ( )
𝜕𝛽𝜕𝛽 ′
𝑛
𝑦𝑖 1 − 𝑦𝑖
𝐼(𝛽) = −𝐸 [(− ∑ [ + ] [𝑓(𝑋𝑖 𝛽)]2 𝑋′𝑖 𝑋𝑖 )
[𝐹(𝑋𝑖 𝛽)] 2 [1 − 𝐹(𝑋𝑖 𝛽)]2
𝑖=1
𝑛
𝑦𝑖 − 𝐹(𝑋𝑖 𝛽)
+ (∑ [ ] 𝑓′(𝑋𝑖 𝛽)𝑋′𝑖 𝑋𝑖 )]
𝐹(𝑋𝑖 𝛽)(1 − 𝐹(𝑋𝑖 𝛽))
𝑖=1

Mais d’après le modèle initiale 𝑦𝑖 = 𝐹(𝑋𝑖 𝛽) + 𝜀𝑖 , on a :

𝐸(𝑦𝑖 ) = 𝐹(𝑋𝑖 𝛽)

Par conséquent l’expression de la matrice d’information s’écrit telle que

𝑛
[𝑓(𝑋𝑖 𝛽)]2
𝐼(𝛽) = − ∑ [ ] 𝑋′𝑖 𝑋𝑖 (5.14)
𝐹(𝑋𝑖 𝛽)(1 − 𝐹(𝑋𝑖 𝛽))
𝑖=1

Ainsi l’inverse de cette matrice permet d’obtenir la matrice de variance-

covariance du paramètre 𝛽̂ .
𝑛 −1
[𝑓(𝑋𝑖 𝛽)]2
𝑉(𝛽̂ ) = (− ∑ [ ] 𝑋′𝑖 𝑋𝑖 ) (5.15)
𝐹(𝑋𝑖 𝛽)(1 − 𝐹(𝑋𝑖 𝛽))
𝑖=1

5.5. Le modèle de probabilité linéaire

Le modèle de probabilité linéaire correspond à l’utilisation de la fonction linéaire
pour estimer le modèle de probabilité. Ce modèle peut être estimé par les MCO.
Cependant il faut noter qu’en dépit de sa simplicité attractive, le modèle de
probabilité linéaire présente néanmoins des inconvénients importants. D’abord, il
présente un problème de cohérence car il ne tient pas compte de la contrainte que
𝑃(𝑦𝑖 = 1/𝑋𝑖 ) = 𝑋𝑖 𝛽 à appartenir à l’intervalle [0, 1]. Par ailleurs, comme le modèle
dichotomique est toujours hétéroscédastique, l’estimateur de la variance des

114
moindres carrés ordinaires est biaisé, et il n’est pas possible d’effectuer des tests
sans corriger cette hétérocédasticité.

5.6. Les effets marginaux dans le modèle dichotomique

Dans le modèle à variable dépendante dichotomique, les coefficients estimés ne
représentent pas, comme dans le modèle linéaire, l’effet partiel des variables
explicatives sur la variable explicative. Les coefficients ne peuvent donc pas
s’interpréter directement, seuls les signes des coefficients sont interprétables. En
effet, lorsque le coefficient associé à une variable explicative 𝑥𝑖𝑘 est positive, on
dira que l’accroissement de cette variable favorise la probabilité de survenue de
l’évènement 𝑦𝑖 = 1. En revanche, lorsque le coefficient de la variable 𝑥𝑖𝑘 est
négatif, cela signifie que l’accroissement de 𝑥𝑖𝑘 défavorise la survenue de
l’évènement. Toutefois l’ampleur de cette influence qu’exerce 𝑥𝑖𝑘 sur la
probabilité 𝑃(𝑦𝑖 = 1) ne peut pas être mesurée par le coefficient 𝛽𝑘 comme dans le
modèle linéaire. Celui-ci doit être mesuré en utilisant les effets marginaux.

L’effet marginal d’une variable explicative sur la probabilité de l’évènement 𝑦𝑖 =

1 est la variation de la probabilité suite à l’accroissement de la variable
explicative d’une unité. Il correspond donc à la dérivée de l’expression de la
fonction de probabilité 𝑃(𝑦𝑖 = 1/𝑋𝑖 ) par rapport à 𝑥𝑖𝑘 . En effet considérons le
modèle suivant :

𝑃(𝑦𝑖 = 1/𝑋𝑖 ) = 𝐹(𝑋𝑖 𝛽) = 𝛷(𝑋𝑖 𝛽) = 𝛷(𝛽0 + 𝛽1 𝑥𝑖1 + 𝛽2 𝑥𝑖2 + ⋯ + 𝛽𝑘 𝑥𝑖𝑘 )

Où 𝑃(𝑦𝑖 = 1/𝑋𝑖 ) représente la probabilité que 𝑦𝑖 soit égal à 1 conditionnellement

aux caractéristiques 𝑥𝑖1 , 𝑥𝑖2 , … , 𝑥𝑖𝑘 . 𝛽 est un vecteur constitués de 𝑘 + 1
paramètres : 𝛽0, 𝛽1, 𝛽2, …𝛽𝑘 . 𝐹(. ) représente la fonction de répartition de la
quantité 𝛽0 + 𝛽1 𝑥𝑖1 + 𝛽2 𝑥𝑖2 + ⋯ + 𝛽𝑘 𝑥𝑖𝑘 également notée 𝛷. L’effet marginal de
toute variable 𝑥𝑖𝑘 se mesure comme suit :

𝜕𝑃(𝑦𝑖 = 1/𝑋𝑖 ) 𝜕𝛷(𝛽0 + 𝛽1 𝑥𝑖1 + 𝛽2 𝑥𝑖2 + ⋯ + 𝛽𝑘 𝑥𝑖𝑘 )

𝐸𝑀𝑥𝑖𝑘 = =
𝜕𝑥𝑖𝑘 𝜕𝑥𝑖𝑘

𝐸𝑀𝑥𝑖𝑘 = 𝛽𝑘 𝜙(𝑥𝑖𝑘 ) (5.16)

Où 𝐸𝑀𝑥𝑖𝑘 représente l’effet marginal, 𝛽𝑘 , le coefficient issu de l’estimation du

modèle initial et 𝜙(𝑥𝑖𝑘 ) la fonction de densité de probabilité. La fonction de
densité étant, par définition, positive, l’effet marginal a donc le même signe que
le coefficient 𝛽𝑘 mais reste plus faible en valeur absolue. Par ailleurs, la valeur de
l’effet marginal n’est pas constante car elle dépend des variables explicatives.
Mais généralement on détermine la valeur des effets marginaux aux moyennes
ou aux médianes des variables explicatives. Dans ces deux cas, les effets
marginaux sont calculés comme suit :

115
Pour la moyenne, on a :

𝐸𝑀𝑥𝑖𝑘 = 𝛽𝑘 𝜙(𝑥̅𝑖𝑘 )

Pour la médiane, on a :

𝐸𝑀𝑥𝑖𝑘 = 𝛽𝑘 𝜙(𝑚𝑒𝑑(𝑥𝑖𝑘 ))

Par ailleurs, lorsque le modèle estimé est celui du probit où la fonction de densité
est celui d’une loi normale centrée et réduite (loi symétrique), on peut aussi
calculer l’effet marginal au point où celle-ci est maximale. En effet la densité de
probabilité de la loi normale centrée réduite est maximale au point 0 car 𝜙(0) ≈
0,40. Dans ce cas, l’effet marginal se présente comme suit :

𝐸𝑀𝑥𝑖𝑘=0/𝑝𝑟𝑜𝑏𝑖𝑡 = 𝛽𝑘 𝜙(0)

𝐸𝑀𝑥𝑖𝑘=0/𝑝𝑟𝑜𝑏𝑖𝑡 = 0,40𝛽𝑘

Aussi, lorsque le modèle estimé est le logit où la fonction de densité est celui
d’une loi logistique (loi symétrique), on peut calculer l’effet marginal au point où
celle-ci est maximale. En effet la densité de probabilité de la loi logistique est
maximale au point 0 car 𝜙(0) ≈ 0,25. Dans ce cas, l’effet marginal se présente
comme suit :

𝐸𝑀𝑥𝑖𝑘=0/𝑙𝑜𝑔𝑖𝑡 = 𝛽𝑘 𝜙(0)

𝐸𝑀𝑥𝑖𝑘=0/𝑙𝑜𝑔𝑖𝑡 = 0,25𝛽𝑘

Il faut aussi noter que l’une des désavantages de l’effet marginal est qu’il
dépendra de l’unité de mesure de la variable explicative. C’est d’ailleurs
pourquoi, on préfère utiliser l’élasticité qui mesure dans quelle proportion varie
la probabilité 𝑃(𝑦𝑖 = 1/𝑋𝑖 ) suite à une variation de la variable explicative de 1%.
La formule est la suivante :

𝜕𝑙𝑜𝑔𝑃(𝑦𝑖 = 1/𝑋𝑖 ) 𝜕𝑃(𝑦𝑖 = 1/𝑋𝑖 ) 𝑥𝑖𝑘 𝜙(𝑥𝑖𝑘 )

𝐸𝐿𝑥𝑖𝑘 = = = 𝛽𝑘 𝑥𝑖𝑘
𝜕𝑙𝑜𝑔𝑥𝑖𝑘 𝜕𝑥𝑖𝑘 𝑃(𝑦𝑖 = 1/𝑋𝑖 ) 𝛷(𝑥𝑖𝑘 )

𝜙(𝑥𝑖𝑘 )
𝐸𝐿𝑥𝑖𝑘 = 𝛽𝑘 𝑥𝑖𝑘 (5.17)
𝛷(𝑥𝑖𝑘 )

5.7. Les Odds ratio dans le modèle logit

Les coefficients obtenus à partir de l’estimation d’un modèle logit ont aussi une
interprétation très intéressante. C’est celle des odds ratio. En effet, on sait que
dans le modèle logit :

116
 𝑃(𝑦𝑖 = 1)
= 𝑒 𝑋𝑖 𝛽
1 − 𝑃(𝑦𝑖 = 1)

Cette égalité représente l’Odd de l’évènement 1. En prenant cette égalité en

logarithme, on retrouve la quantité dénommée log-Odds:

𝑃(𝑦𝑖 = 1)
𝑙𝑛 ( ) = 𝑋𝑖 𝛽
1 − 𝑃(𝑦𝑖 = 1)

Ainsi, d’une manière générale, pour calculer les Odds ratios, on calcule
l’exponentiel du coefficient 𝛽. Ainsi, on a :

𝑂𝑅 = 𝑒 𝛽 (5.18)

5.8. Passage du modèle probit au modèle logit

Soit un modèle dichotomique définit à partir d’une variable latente telle que

𝑦𝑖 = 1 𝑠𝑖 𝑦𝑖∗ > 0
{
𝑦𝑖 = 0 𝑠𝑖 𝑦𝑖∗ ≤ 0

Avec 𝑦𝑖∗ défini telle que 𝑦𝑖∗ = 𝑋𝑖 𝛽 + 𝑢𝑖 avec 𝐸(𝑢𝑖 ) = 0 et 𝑉(𝑢𝑖 ) = 𝜎𝑢2

Dans cette configuration la série des erreurs 𝑢𝑖 est distribuée telle que

𝑢𝑖 ↝ 𝑖𝑖𝑑(0, 𝜎𝑢2 )

Cependant, lorsque la fonction de répartition donnée est celle issue d’une loi
𝑖𝑖𝑑(0,1), il faudrait alors normaliser les erreurs de sorte à pouvoir déterminer les
paramètres du modèle. En effet, lorsque 𝑢𝑖 ↝ 𝑖𝑖𝑑(0, 𝜎𝑢2 ) et que 𝑦𝑖∗ = 𝑋𝑖 𝛽 + 𝑢𝑖 , alors
l’erreur normalisée se présente comme suit :
𝑢𝑖
↝ 𝑖𝑖𝑑(0,1)
𝜎𝑢

Dès lors, le modèle normalisé se présente tel que :

𝑦𝑖∗ 𝑋𝑖 𝛽 𝑢𝑖
= +
𝜎𝑢 𝜎𝑢 𝜎𝑢

Ainsi, on peut alors poser que :

𝑦𝑖∗ 𝑋𝑖 𝛽 𝑢𝑖 𝑢𝑖 𝑋𝑖 𝛽
𝑃(𝑦𝑖 = 1) = 𝑃 ( > 0) = 𝑃 ( + > 0) = 𝑃 ( > − )
𝜎𝑢 𝜎𝑢 𝜎𝑢 𝜎𝑢 𝜎𝑢

𝑢𝑖 𝑋𝑖 𝛽 𝑢𝑖 𝑋𝑖 𝛽 𝑢𝑖 𝑋𝑖 𝛽 𝑋𝑖 𝛽
= 1−𝑃( ≤− ) = 1 − [1 − 𝑃 ( < )] = 𝑃 ( < ) = 𝐹( )
𝜎𝑢 𝜎𝑢 𝜎𝑢 𝜎𝑢 𝜎𝑢 𝜎𝑢 𝜎𝑢

117
Ainsi, on a :

𝑋𝑖 𝛽
𝑃(𝑦𝑖 = 1) = 𝐹 ( ) (5.19)
𝜎𝑢

Cette propriété montre par exemple que lorsque 𝑢𝑖 ↝ 𝑁(0, 𝜎𝑢2 ) alors, pour estimer
le modèle probit (dans lequel la fonction de répartition considérée est celle d’une
loi normale centrée et réduite), il faut donc procéder à une pré-normalisation de
l’équation de la variable latente (en utilisation 𝜎𝑢2 ). Cette propriété permet donc
de passer d’une loi normale 𝑁(0, 𝜎𝑢2 ) à une loi normale 𝑁(0,1).

Par ailleurs, on peut aussi montrer qu’il est possible de passer d’une loi iid(0,1) à
une loi logistique en normalisation par la variance de la loi logistique.
𝜋2
En effet, sachant que la variance d’une loi logistique est égale à , pour passer
3
𝜋2 𝜋
d’une loi iid(0,1) à une loi logistique l(0, ), on multiplie celle-ci par ( écart-
3 √3
type). En effet si on a :

𝑢𝑖 𝜋 𝑢𝑖 𝜋2
𝑢𝑖 ↝ 𝑁(0, 𝜎𝑢2 )  ↝ 𝑁(0,1)  ↝ 𝑙 (0, )
𝜎𝑢 √3 𝜎𝑢 3

Démonstration :
𝜋 𝑢𝑖 𝜋 𝜋
𝐸( )= 𝐸(𝑢𝑖 ) = ×0 =0
√3 𝜎𝑢 𝜎𝑢 √3 𝜎𝑢 √3

𝜋 𝑢𝑖 𝜋 𝑢𝑖 2 𝜋2 2)
𝜋2 𝜋2 2
𝜋2
𝑉𝑎𝑟 ( ) = 𝐸 [( ) ] = 2 𝐸(𝑢𝑖 = 2 𝑉𝑎𝑟(𝑢𝑖 ) = 2 × 𝜎𝑢 =
√3 𝜎𝑢 √3 𝜎𝑢 3𝜎𝑢 3𝜎𝑢 3𝜎𝑢 3

En utilisant cette propriété, on peut passer de l’estimation d’un modèle probit à

celle d’un modèle probit par une transformation des fonctions de répartition.

En effet si le modèle initial est tel que :

𝑦𝑖 = 1 𝑠𝑖 𝑦𝑖∗ > 0
{
𝑦𝑖 = 0 𝑠𝑖 𝑦𝑖∗ ≤ 0

Avec 𝑦𝑖∗ défini telle que : 𝑦𝑖∗ = 𝑋𝑖 𝛽 + 𝑢𝑖 où 𝑢𝑖 ↝ 𝑁(0, 𝜎𝑢2 )

Alors, pour estimer un modèle probit, on utilise la fonction de répartition définie

telle que :

𝑋𝑖 𝛽
𝑃(𝑦𝑖 = 1) = 𝐹 ( ) (5.20𝑎)
𝜎𝑢

Où F(.) est la fonction de répartition d’une loi normale centrée réduite.

118
En revanche, pour estimer un modèle logit, on utilise la fonction de répartition
définie telle que :

𝜋 𝑋𝑖 𝛽
𝑃(𝑦𝑖 = 1) = 𝐹 ( ) (5.20𝑏)
√3 𝜎𝑢

Où F(.) est la fonction de répartition d’une loi logistique.

Les étapes de la normalisation se présentent alors comme suit :

𝑦𝑖∗ = 𝑋𝑖 𝛽 + 𝑢𝑖

𝑦𝑖∗ 𝑋𝑖 𝛽 𝑢𝑖
= +
𝜎𝑢 𝜎𝑢 𝜎𝑢

𝜋 𝑦𝑖∗ 𝜋 𝑋𝑖 𝛽 𝜋 𝑢𝑖
= +
√3 𝜎𝑢 √3 𝜎𝑢 √3 𝜎𝑢

Ainsi, on peut alors poser que :

𝜋 𝑦𝑖∗ 𝜋 𝑋𝑖 𝛽 𝜋 𝑢𝑖
𝑃(𝑦𝑖 = 1) = 𝑃 ( > 0) = 𝑃 ( + > 0)
√3 𝜎𝑢 √3 𝜎𝑢 √3 𝜎𝑢
𝜋 𝑢𝑖 𝜋 𝑋𝑖 𝛽 𝜋 𝑢𝑖 𝜋 𝑋𝑖 𝛽
= 𝑃( >− ) = 1−𝑃( ≤− )
√3 𝜎𝑢 √3 𝜎𝑢 √3 𝜎𝑢 √3 𝜎𝑢
𝜋 𝑢𝑖 𝜋 𝑋𝑖 𝛽 𝜋 𝑢𝑖 𝜋 𝑋𝑖 𝛽 𝜋 𝑋𝑖 𝛽
= 1 − [1 − 𝑃 ( < )] = 𝑃 ( < ) = 𝐹( )
√3 𝜎𝑢 √3 𝜎𝑢 √3 𝜎𝑢 √3 𝜎𝑢 √3 𝜎𝑢

Ainsi, on a :

𝜋 𝑋𝑖 𝛽
𝑃(𝑦𝑖 = 1) = 𝐹 ( )
√3 𝜎𝑢

Compte tenu de ces précédentes propriétés, on peut donc passer d’un modèle à un
autre par l’intermédiaire d’un coefficient de proportionnalité. La conséquence
directe de cette propriété est qu’on peut aussi déduire les estimateurs d’un
modèle à partir d’un autre sans avoir besoin d’estimer celui. En effet, il est établit
la propriété fondamentale suivante :

Soit 𝛽̂𝑝𝑟𝑜𝑏𝑖𝑡 , l’estimateur de 𝛽 obtenu à partir du modèle probit et 𝛽̂𝑙𝑜𝑔𝑖𝑡 , celui

obtenu à partir d’un modèle logit, on peut montrer que :

𝛽̂𝑙𝑜𝑔𝑖𝑡 = 1.6𝛽̂𝑝𝑟𝑜𝑏𝑖𝑡 (5.21)

Cette même propriété permet d’établir une relation entre l’estimation du modèle
probit et celui du modèle de probabilité linéaire (obtenu par MCO) :

119
 𝛽̂𝑚𝑐𝑜 = 0.4𝛽̂𝑝𝑟𝑜𝑏𝑖𝑡 (5.22)

5.9. Diagnostics sur la qualité de l’estimation des

modèles logit et probit
Dans le but de juger de la précision d’un modèle estimé, un certain nombre de
mesures ont été proposées. Il s’agit du Pseudo R² (défini suivant le principe du
coefficient de détermination R² étudié dans le modèle linéaire) et la proportion de
prédictions correctes (mesure du pouvoir de prédiction).

5.9.1. Le R2 de McFadden

Le R2 McFadden est un indice de qualité d’ajustement construit en comparant la

valeur de la logvraisemblance du modèle estimé avec toutes les variables
explicatives avec la valeur de la logvraisemblance du modèle estimé avec
uniquement la constante. La première désigne le logvraisemblance du modèle
non contraint alors que la seconde représente le logvraisemblance du modèle
contraint. La formule se présente comme suit :

𝐿𝑜𝑔𝐿𝑛𝑐
𝑅2 = 1 − ( ) (5.23)
𝐿𝑜𝑔𝐿𝑐

Où 𝐿𝑜𝑔𝐿𝑛𝑐 représente le logvraisemblance du modèle non contraint et 𝐿𝑜𝑔𝐿𝑐 le

logvraisemblance du modèle contraint.

Malgré la proximité apparente de cette formule avec celle du R2 du modèle

linéaire, sa justification mathématique de cette mesure n’est pas du tout
identique à celle du R2. En effet, la principale idée qui sous-tend cette mesure est
la suivante. Pour un modèle bien ajusté, la vraisemblance non restreinte 𝐿𝑛𝑐 doit
être proche de 1 (𝐿𝑜𝑔𝐿𝑛𝑐 proche de 0). Dans ce cas le pseudo-R2 est proche de 1.
Au contraire, pour un modèle mal ajusté, 𝐿𝑜𝑔𝐿𝑛𝑐 sera proche de 𝐿𝑜𝑔𝐿𝑐 et la valeur
du pseudo-R2 sera proche de zéro.

5.9.2. Le pouvoir de prédiction du modèle et le pseudo R2

Une autre façon de mesurer la qualité de l’ajustement est d’examiner la capacité
prédictive du modèle estimé. L’idée ici est de calculer la proportion de prédictions
correctes du modèle. Le calcul du nombre de prédictions correctes nécessite
d’abord de définir une règle à partir de laquelle la prédiction de la probabilité
𝑃(𝑦𝑖 = 1/𝑋𝑖 ) peut conduire à un prédicteur discret de l’état 𝑦𝑖 = 1 ou 𝑦𝑖 = 0. En
d’autres termes, il faut définir une valeur seuil à partir de la probabilité prédite
(𝑃̂𝑖 = 𝐹(𝑋𝑖 𝛽̂ ) à partir duquel, on considère que l’évènement 𝑦𝑖 = 1 est réalisé ou
que l’évènement 𝑦𝑖 = 0 est réalisé. Cette règle est définie comme suit :

120
 1 𝑠𝑖 𝑃̂𝑖 > 0,5
𝑦̂𝑖 = {
0 𝑠𝑖 𝑃̂𝑖 ≤ 0,5

A partir des valeurs prédites des évènements construites à partir de ce critère, on

procède à une confrontation avec les évènements réellement observées 𝑦𝑖 afin
d’évaluer le degré de concordance du modèle avec la réalité. Cette confrontation
se réalise généralement au moyen d’un tableau de contingence qui se présente
comme suit :

Valeurs prédites
𝑦̂𝑖 = 0 𝑦̂𝑖 = 1
Valeurs 𝑦𝑖 = 0 𝑛00 𝑛01
observées 𝑦𝑖 = 1 𝑛10 𝑛11

𝑛00 représente le nombre de cas où le modèle prédit une absence de l’évènement

et cette absence se vérifie bien dans la réalité. 𝑛10 représente le nombre de cas où
le modèle prédit l’absence d’évènement alors que dans la réalité, il y a eu
l’évènement. 𝑛01 représente le nombre de cas où le modèle prédit la survenue de
l’évènement alors que dans la réalité l’évènement n’est pas survenue. Et
enfin, 𝑛11 représente le nombre de cas où le modèle prédit la survenue de
l’évènement et que cette prédiction se confirme bien dans l réalité. A partir de ces
quatre situations, le nombre de prédictions correctes est obtenu en additionnant
𝑛00 et 𝑛11 . Ainsi, le pourcentage de prédictions correctes se calcule en rapport
simplement ce nombre au nombre d’observation total 𝑛 (𝑛 = 𝑛00 + 𝑛10 + 𝑛01 +
𝑛11 ). Cette valeur traduit également le pseudo R².
𝑛00 + 𝑛11
𝑃𝑠𝑒𝑢𝑑𝑜𝑅2 = ( ) (5.24)
𝑛

Le modèle sera alors considéré de bonne qualité lorsque cette proche est proche
de 1.

5.10. Test d’hypothèses dans le cadre du modèle

dichotomique
5.10.1. Test sur un coefficient
Supposons que l’on veuille tester l’hypothèse 𝐻0 : 𝛽𝑗 = 𝛽0,𝑗 contre l’alternative
𝐻1 : 𝛽𝑗 ≠ 𝛽0,𝑗 , on peut dans ce cas utiliser un test de Student classique ou bien un
test de Wald. Cependant, le choix entre le test de Student et le test de Wald
dépend de la connaissance ou non de la variance des résidus 𝜎𝜀̂2 . En effet la

121
statistique du test du test de Student ou de Wald se présente indifféremment
comme suit :

𝛽̂𝑗 − 𝛽0,𝑗
𝜎̂𝛽̂𝑗

Etant donné que la valeur 𝜎̂𝛽̂20 depend de la valeur 𝜎𝜀̂2 (Voir par exemple dans le
cadre du modèle linéaire), alors la distribution de la statistique de
̂𝑗 −𝑗
𝛽
̂𝛽
depend du fait que 𝜎𝜀̂2 soit connue ou pas.
𝜎 ̂
𝑗

̂𝑗 −𝛽0,𝑗
𝛽
Si 𝜎𝜀̂2 est connue, alors la statstique ̂𝛽
sera distribuée selon une loi normale.
𝜎 ̂
𝑗

La statistique sera alors appellée comme la statistique de Wald.

𝛽̂𝑗 − 𝛽0,𝑗
𝑊= ↝ 𝑁(0,1) (5.25)
𝜎̂𝛽̂𝑗

On peut aussi montrer que le carré de la statistique de Wald est une loi de Khi-
deux, car elle correspond théoriquement à la somme du carré d’une loi normale
(0,1) :
2
(𝛽̂𝑗 − 𝛽0,𝑗 )
𝑊 = 2
↝ 2 (1) (5.26)
𝜎̂𝛽̂2
𝑗

Cette propriété montre donc que le test de Wald peut être réalisé soit à partir
d’une distribution normale ou une distribution de khi-deux lorsque la variance
des erreurs est connue. En revanche dans le cas où la variance 𝜎𝜀̂2 n’est pas
connue, il faut utiliser la statistique de student. Dans ce cas, la statistique du
test se présente comme suit :

𝛽̂𝑗 − 𝛽0,𝑗
𝑡∗ = ↝ 𝑇(𝑛 − 𝑘 − 1) (5.27)
𝜎̂𝛽̂𝑗

Nb : Pour obtenir l’écart-type des coefficients, on se sert de la matrice de

variance-covariance des paramètres dans laquelle on peut lire 𝜎̂𝛽̂2 . La matrice de
𝑗

variance-covariance étant égale à l’inverse de la matrice d’information de Fisher.

5.10.2. Test de Wald sur une contrainte linéaire de coefficients

La démarche de test sur un coefficient individuel peut être généralisée à un
ensemble de coefficients sous forme de contraintes linéaires.

122
D’une manière générale, tous les tests de contraintes linéaires se présentent sous
la forme suivante :

𝐻0 𝑅𝛽 = 𝑟

Où R est une matrice q× q avec q≤ k+1 et r un vecteur-colonne de dimension q.

La statistique Wald de ce test se présente alors comme suit :

′
𝑊 = (𝑅𝛽̂ − 𝑟) (𝑅𝑉̂ 𝑅 ′ )−1 (𝑅𝛽̂ − 𝑟)

Où 𝑉̂ est la matrice de variance-covariance des paramètres.

Cette statistique est distribuée selon un Khi-deux à 1 degré de liberté.

Cette propriété dérive du fait que pour tout coefficient estimé 𝛽̂𝑗 , on a :

𝑊 = 𝛽̂𝑗 𝜎̂𝛽̂2 ↝ 2 (1) (5.28)

𝑗

5.10.3. Test du rapport de vraisemblances

De même que le test de Wald peut être utilisé pour tester une contrainte linéaire,
on peut aussi utiliser le test de rapport de vraisemblance (likelihood Ratio test)
lorsque le modèle estimée par maximum de vraisemblance.

Le test de rapport de vraisemblance consiste à comparer la vraisemblance du

modèle estimé sous l’hypothèse H0 (modèle contraint) à la vraisemblance du
modèle estimé sous l’hypothèse alternative (modèle non contraint). L’idée du test
est que si la contrainte imposée par l’hypothèse H0 est valide, alors la
vraisemblance obtenue en estimant le modèle contraint doit être sensiblement la
même que celle obtenue en estimant le modèle non contraint. Dans ce cas, d’après
le principe de parcimonie (qui stipule que le meilleur d’entre deux modèles ayant
les mêmes propriétés par ailleurs est celui pour lequel le nombre de paramètres à
estimer est le plus faible), l’hypothèse nulle ne peut pas être rejetée.

La statistique du test de rapport de vraisemblance se construit comme suit :

𝐿𝑛𝑐
𝐿𝑅 = ( ) (5.29𝑎)
𝐿𝑐

Où 𝐿𝑛𝑐 et 𝐿𝑐 représentent respectivement les vraisemblances du modèle non

contraint et du modèle contraint.

En élevant cette égalité au carré et en prenant le logarithme, on trouve :

−2𝑙𝑛𝐿𝑅 = 2(𝑙𝑛𝐿𝑐 − 𝑙𝑛𝐿𝑛𝑐 ) ↝ 2 (𝑞) (5.29𝑏)

123
Cette statistique suit un Khi-deux à q degrés de liberté où q représente le nombre
de contraintes. Ainsi, en fonction de la valeur de la statistique 2(𝑙𝑛𝐿𝑐 − 𝑙𝑛𝐿𝑛𝑐 ),
l’hypothèse H0 sera rejetée lorsque la statistique est supérieur à la valeur du
Khi-deux lue dans la table au seuil 1 − 𝛼⁄2).

5.10.4. Le test du multiplicateur de Lagrange

Le test de multiplicateur de Lagrange (encore appelé test de score) part du

principe que si l’hypothèse nulle est satisfaite, les deux estimateurs non contraint
𝛽̂𝑐 et contraint 𝛽̂𝑛𝑐 ne doivent pas être significativement différents, et que donc la
même propriété doit être vérifiée pour le vecteur des conditions du premier ordre
de la maximisation de la log vraisemblance. Le test consiste, en pratique, à
mesurer la norme du score évalué au point 𝛽̂ . Cette statistique se présente alors
comme suit :
′
𝜕𝑙𝑜𝑔𝐿(𝛽) −1 𝜕𝑙𝑜𝑔𝐿(𝛽)
𝐿𝑀 = ( /𝛽 = 𝛽̂ ) 𝐼(𝛽̂ ) ( /𝛽 = 𝛽̂ ) ↝ 2 (1) (5.30)
𝜕𝛽 𝜕𝛽

Où 𝐼(𝛽̂ ) est la matrice d’information de Fisher. Cette statistique suit une loi de
khi-deux à q degré de libertés où q est le nombre de contraintes.

124
 CHAPITRE 6. MODELES A VARIABLE
DEPENDANTE POLYTOMIQUE
6.1. Présentation
Les modèles à variable dépendante polytomique sont des modèles dans lesquels
la variable expliquée prend plus de deux modalités. On dénombre deux grandes
catégories de ce genre de modèles qui se distinguent selon qu’on puisse établir ou
pas un ordre dans les modalités. Il s’agit des modèles multinomiaux ordonnées et
des modèles multinomiaux non ordonnés.

Les modèles multinomiaux ordonnées sont des modèles dans lesquels il existe un
certain ordre dans les modalités. Par exemple, lorsqu’on demande à un groupe
d’individus d’exprimer leur degré de satisfaction par rapport à la consommation
d’un produit, les réponses obtenus peuvent être codées comme suit : 0- Pas du
tout satisfait, 1-Plutôt pas satisfait, 2- Ni satisfait, ni insatisfait, 3-Plutôt
satisfait, 4-Très satisfait. On remarque alors un ordre clair dans les modalités,
passant de la pire à la meilleure situation (ou réciproquement).

Les modèles multinomiaux non ordonnés sont des modèles dans lesquels il
n’existe aucun ordre clair dans les modalités. C’est le cas par exemple lorsqu’on
veut étudier le choix des individus entre plusieurs moyens de transport pour faire
un trajet. On peut proposer plusieurs modalités : 1-Vélo, 2-Moto, 3-Voiture
personnelle, 4-Bus, 5-Autres. On ne peut pas mettre un ordre hiérarchique clair
entre ces modalités dans la mesure où ce choix appartient uniquement à
l’individu qui est en capacité d’estimer le choix le plus favorable pour lui. Ce type
de modèle est alors appelé modèle multinomial non ordonnée.

D’une manière générale, un modèle multinomial (qu’il soit ordonné ou non

ordonné) est un modèle dans le lequel la variable dépendante qualitative 𝑦𝑖 prend
un nombre 𝑚 de modalités supposées mutuellement exclusives et dont la somme
des probabilités vaut 1.

Supposons un échantillon constitué de 𝑁 individus indicés 𝑖 avec 𝑖 = 1, … , 𝑛. Ces

individus sont supposés choisir entre m modalités indicées 𝑘 avec 𝑘 = 1, … , 𝑚. La
probabilité pour qu’un individu 𝑖 choisisse la modalité 𝑘 est une fonction de ses
caractéristiques telles que :

𝑃𝑟𝑜𝑏(𝑦𝑖 = 𝑘) = 𝐹(𝑋𝑖 𝛽) ∀ 𝑖 = 1, … , 𝑛; ∀ 𝑘 = 1, … , 𝑚 (6.1)

Où 𝑃𝑟𝑜𝑏(𝑦𝑖 = 𝑘) est la probabilité que l’individu i choisisse la modalité 𝑘. 𝐹(. ) est

la fonction de répartition, supposée différer selon les individus (𝑖) mais aussi
selon les modalités (𝑘). 𝑋𝑖 est la matrice des caractéristiques de l’individu. Et 𝛽

125
représente le vecteur des paramètres du modèle. Etant donné que les modalités
sont mutuellement exclusives, la condition suivante est donc vérifiée pour chaque
individu:
𝑚

∑ 𝑃𝑟𝑜𝑏(𝑦𝑖 = 𝑘) = 1 ∀ 𝑖 = 1, … , 𝑛 (6.2)
𝑘=1

La condition (6.2) indique que la somme des probabilités des m modalités vaut 1
pour chaque individu.

L’un des corollaires de cette condition est qu’il n’est pas nécessaire de spécifier la
fonction de probabilité de toutes les modalités. En effet, étant donné qu’il y a m
modalités, on peut montrer que la probabilité de la m-ième modalité (connaissant
celles des m-1 premières modalités) est la suivante :
𝑚−1

𝑃𝑟𝑜𝑏(𝑦𝑖 = 𝑚) = 1 − ( ∑ 𝑃𝑟𝑜𝑏(𝑦𝑖 = 𝑘)) ∀ 𝑖 = 1, … , 𝑛 (6.3)

𝑘=1

Ainsi les modèles multinomiaux (qu’ils soient ordonnés ou non ordonnés)

présentent ces mêmes propriétés fondamentales. Cependant des différences
majeures apparaissent entre ces modèles quant à la spécification des formes
fonctionnelles des probabilités mais aussi quant à l’interprétation des résultats.

6.2. Modèles multinomiaux ordonnés : logit et probit

ordonnés
Comme signalé ci-dessus, les modèles multinomiaux ordonnés sont des modèles
dans lesquels on peut établir un ordre formel entre les modalités. Mais au-delà de
cette définition simple, ces modèles peuvent être rigoureusement définis comme
des modèles où les modalités prises par la variable dépendante sont des codes
attribués aux intervalles de valeurs obtenus par découpage des valeurs continues
d’une variable latente. En se basant sur cette définition, le modèle multinomial
ordonné se présente comme suit :

1 𝑠𝑖 𝑦𝑖∗ < 𝛾1
2 𝑠𝑖 𝛾1 ≤ 𝑦𝑖∗ < 𝛾2
3 𝑠𝑖 𝛾2 ≤ 𝑦𝑖∗ < 𝛾3
𝑦𝑖 = (6.4𝑎)
… … …
… … …
∗
{𝑚 𝑠𝑖 𝑦𝑖 > 𝛾𝑚

126
Où 𝑦𝑖 représente la variable dépendante pouvant prendre les modalités 1,2, . . , 𝑚
qui elles-mêmes correspondent à des intervalles de valeurs d’une variable
latentes continue 𝑦𝑖∗ définie telle que :

𝑦𝑖∗ = 𝑋𝑖 𝛽 + 𝑢𝑖 (4𝑏)

𝐸(𝑢𝑖 ) = 0

𝑉(𝑢𝑖 ) = 𝜎𝑢2

Dans ce modèle 𝛾1, 𝛾2 ,…, 𝛾𝑚 sont des constantes délimitant les intervalles de
valeurs de la variable latente. Ce sont des valeurs seuils qui conditionnent les
choix des individus. Comme on peut le voir à travers l’équation, l’individu fait le
choix de la modalité 1 si la valeur de la variable latente est inférieure à un
certain seuil 𝛾. Par contre, il fera le choix m (qui est celui qui domine tous les
autres choix) lorsque la valeur de 𝑦𝑖∗ dépasse le seuil 𝛾𝑚 . En dehors de ces deux
cas extrêmes, il existe aussi des choix intermédiaires correspondant chacun à des
intervalles de valeurs spécifiques (voir équation 6.4a).

NB : Dans ce modèle, nous avons décidé de coder la modalité à partir de 1. Le

plus souvent, la première modalité est codée par 0. Mais il ne s’agit là que d’un
choix de forme qui n’a aucune incidence ni sur les paramètres estimés, ni sur les
résultats. Selon le codage adopté ici, la probabilité associée à chaque modalité se
présente comme suit :

𝑃𝑟𝑜𝑏(𝑦𝑖 = 1) = 𝑃𝑟𝑜𝑏(𝑦𝑖∗ < 𝛾1 ) = 𝑃𝑟𝑜𝑏(𝑋𝑖 𝛽 + 𝑢𝑖 < 𝛾1 )

= 𝑃𝑟𝑜𝑏(𝑢𝑖 < 𝛾1 − 𝑋𝑖 𝛽)
= 𝐹(𝛾1 − 𝑋𝑖 𝛽)

𝑃𝑟𝑜𝑏(𝑦𝑖 = 2) = 𝑃𝑟𝑜𝑏(𝛾1 ≤ 𝑦𝑖∗ < 𝛾2 ) = 𝑃𝑟𝑜𝑏(𝛾1 ≤ 𝑋𝑖 𝛽 + 𝑢𝑖 < 𝛾2 )

= 𝑃𝑟𝑜𝑏(𝛾1 − 𝑋𝑖 𝛽 ≤ 𝑢𝑖 < 𝛾2 − 𝑋𝑖 𝛽)
= 𝐹(𝛾2 − 𝑋𝑖 𝛽) − 𝐹𝑖𝑘 (𝛾1 − 𝑋𝑖 𝛽)
… … … …
∗
𝑃𝑟𝑜𝑏(𝑦𝑖 = 𝑚) = 𝑃𝑟𝑜𝑏(𝑦𝑖 > 𝛾𝑚 ) = 𝑃𝑟𝑜𝑏(𝑋𝑖 𝛽 + 𝑢𝑖 > 𝛾𝑚 )
= 𝑃𝑟𝑜𝑏(𝑢𝑖 > 𝛾𝑚 − 𝑋𝑖 𝛽)
= 1 − 𝑃𝑟𝑜𝑏(𝑢𝑖 < 𝛾𝑚 − 𝑋𝑖 𝛽)
= 1 − 𝐹(𝛾𝑚 − 𝑋𝑖 𝛽)

Connaissant les valeurs seuils et la fonction F(.), on peut aussi proposer une
formule générale pour obtenir la probabilité de chaque modalité. Cette formule se
présente comme suit :

𝑃𝑟𝑜𝑏(𝑦𝑖 = 𝑘) = 𝐹(𝛾𝑘 − 𝑋𝑖 𝛽) − 𝐹(𝛾𝑘−1 − 𝑋𝑖 𝛽) (6.5)

Avec 𝛾0 = −∞ et 𝛾𝑚 = +∞

127
Pour estimer le modèle, il faut d’abord calculer la fonction de vraisemblance qui
est le double produit des probabilités des modalités à la fois entre les modalités
mais aussi entre les individus. La fonction de vraisemblance d’un modèle
multinomial ordonné se présente comme suit :
𝑛 𝑚

𝐿(𝑦, 𝛾, 𝛽) = ∏ ∏[𝑝𝑟𝑜𝑏(𝑦𝑖 = 𝑘)]

𝑖=1 𝑘=1
𝑛 𝑚

𝐿(𝑦, 𝛾, 𝛽) = ∏ ∏[𝐹(𝛾𝑘 − 𝑋𝑖 𝛽) − 𝐹(𝛾𝑘−1 − 𝑋𝑖 𝛽)] (6.6𝑎)

𝑖=1 𝑘=1

Avec 𝛾0 = −∞ et 𝛾𝑚 = +∞

On peut alors déterminer les paramètres de ce modèle en maximisant cette

fonction de vraisemblance. C’est la procédure de maximum de vraisemblance.
Mais maximiser la vraisemblance équivaut aussi à maximiser la log-
vraisemblance. C’est pourquoi, la détermination est basée sur la fonction de log-
vraisemblance car plus facile à dériver. La fonction de log-vraisemblance se
présente alors comme suit :
𝑛 𝑚

𝐿𝑜𝑔𝐿(𝑦, 𝛾, 𝛽) = ∑ ∑ 𝑙𝑜𝑔[𝐹(𝛾𝑘 − 𝑋𝑖 𝛽) − 𝐹(𝛾𝑘−1 − 𝑋𝑖 𝛽)] (6.6𝑏)

𝑖=1 𝑘=1

Avec 𝛾0 = −∞ et 𝛾𝑚 = +∞

Connaissant ainsi la fonction F(.), il suffit alors de dériver l’équation (6.6b) afin
de rechercher les valeurs des paramètres 𝛾 et 𝛽 qui sont deux vecteurs de
paramètres contenant respectivement les valeurs seuils et les coefficients des
variables explicatives. Il faut noter que 𝑋𝑖 ne contient pas de constante pour des
raisons d’identification. En effet, il est impossible d’identifier en même temps le
coefficient associé à la constante et les valeurs seuils 𝛾𝑘 .

Dans l’estimation des paramètres du modèle, le choix de la fonction 𝐹(. ) dépend

de la distribution de 𝑢𝑖 dans le modèle (6.4b). Lorsque 𝑢𝑖 ↝ 𝑁(0,1) alors la
fonction de répartition choisie est celle d’une loi normale centrée réduite. Le
modèle ainsi obtenu est appelé modèle probit multinomial ordonné. En revanche,
𝜋
lorsque 𝑢𝑖 ↝ 𝑙(0, ) alors la fonction de répartition choisie est celle d’une loi
3
logistique. Le modèle est alors appelé modèle logit multinomial ordonné.

Remarque :

Lorsque la série des erreurs 𝑢𝑖 est distribuée selon une loi iid telle que la loi
normale : 𝑢𝑖 ↝ 𝑁(0, 𝜎𝑢2 ) avec 𝜎𝑢2 ≠ 1, il faudrait alors normaliser l’ensemble du
modèle de sorte que 𝑢𝑖 puisse être distribuée 𝑢𝑖 ↝ 𝑁(0,1). Pour cela, on multiplie

128
 1
tous les membres du modèle par tel que : le modèle normalisé se présente tel
𝜎𝑢
𝑦𝑖∗ 𝑋𝑖 𝛽 𝑢𝑖 𝜋
que : = + . Notons aussi que pour obtenir un modèle où 𝑢𝑖 ↝ 𝑙(0, ), il faut
𝜎𝑢 𝜎𝑢 𝜎𝑢 3
𝜋 1 𝜋 𝑦𝑖∗ 𝜋 𝑋𝑖 𝛽 𝜋 𝑢𝑖
simplement multiplié le modèle initial par
3
× tel que : = + .
𝜎𝑢 √3 𝜎𝑢 √3 𝜎𝑢 √3 𝜎𝑢

Dans l’un ou l’autre cas, on obtient finalement un modèle transformé ayant les
mêmes propriétés qu’un modèle ordinaire sur lequel peut appliquer l’ensemble
des démarches précédemment présentées.

Ainsi au final, compte tenu de la nature de la fonction de répartition, on

distingue deux grands types de modèles multinomiaux ordonnés : le modèle logit
multinomial ordonné et le modèle probit multinomial ordonné. La probabilité de
choix de chaque modalité dans chacun des deux modèles se présent comme suit :

Probit ordonné

(𝛾𝑘 −𝑋𝑖 𝛽) (𝛾𝑘−1 −𝑋𝑖 𝛽)

1 −𝑡 2 1 −𝑡 2
𝑃𝑟𝑜𝑏(𝑦𝑖 = 𝑘) = [∫ ( 𝑒 2 ) 𝑑𝑡] − [∫ ( 𝑒 2 ) 𝑑𝑡]
−∞ √2𝜋 −∞ √2𝜋

Logit ordonné

𝑒 (𝛾𝑘−𝑋𝑖 𝛽) 𝑒 (𝛾𝑘−1 −𝑋𝑖 𝛽)

𝑃𝑟𝑜𝑏(𝑦𝑖 = 𝑘) = ( ) − ( )
1 + 𝑒 (𝛾𝑘 −𝑋𝑖 𝛽) 1 + 𝑒 (𝛾𝑘−1 −𝑋𝑖 𝛽)

Avec 𝛾0 = −∞ et 𝛾𝑚 = +∞

∀ 𝑘 = 1, … , 𝑚

6.3. Les modèles multinomiaux non ordonnés : cas du

logit non ordonné
Les modèle multinomiaux non ordonnés sont utilisés lorsqu’on ne peut pas
établir d’ordre naturel entre les modalités d’une variable dépendante qualitative.
C’est le cas par exemple lorsqu’on propose à un individu de choisir entre trois
chemises différent par leur couleur mais identiques sur toutes les autres
caractéristique. Dans ce cas l’individu doit choisir entre plusieurs alternatives
non nécessairement hiérarchisé. Pour analyser les choix de cet individu, on peut
utiliser un modèle multinomial non ordonné. Le modèle le plus fréquent parmi
cette classe de modèles est le modèle logit multinomial non ordonné.

Le modèle logit multinomial non ordonné (souvent appelé simplement comme

modèle logit multinomial), la probabilité de chaque modalité s’écrit comme suit :

129
 𝑒 𝑋𝑖 𝛽𝑘
𝑃𝑟𝑜𝑏(𝑦𝑖 = 𝑘) = 𝑋𝑖 𝛽𝑗
∀ 𝑘 = 1, … , 𝑚 ; ∀ 𝑖 = 1, … , 𝑛 (6.7)
∑𝑚
𝑗=1 𝑒

Tel que présenté, les paramètres du modèle restent indéterminés puisque la

probabilité de toute modalité est écrite en fonction de son propre vecteur de
paramètre mais aussi en fonction de ceux des autres modalités. Toutefois, cette
indétermination peut être levée par la simple normalisation du vecteur de
paramètres de l’une des modalités. Ainsi, en normalisant à 0 le coefficient 𝛽𝑘
obtenu pour la première modalité tel que 𝛽1 = 0, on peut alors écrire :

1
𝑃𝑟𝑜𝑏(𝑦𝑖 = 1) = 𝑋𝑖 𝛽𝑗
1+ ∑𝑚
𝑗=2 𝑒

𝑒 𝑋𝑖 𝛽𝑘
𝑃𝑟𝑜𝑏(𝑦𝑖 = 𝑘) = 𝑋𝑖 𝛽𝑗
∀ 𝑘 = 2, … , 𝑚
1 + ∑𝑚𝑗=2 𝑒

On peut aussi remarquer que lorsque 𝑚 = 2, on tombe dans le cas du modèle logit
simple. Il suffirait alors de recoder les modalités 1 et 2 de sorte à retrouver les
modèle logit binaire classique.

Tout comme le modèle logit ordonné, l’estimation du modèle logit multinomial

(non ordonné) se fait en formulant d’abord la fonction de vraisemblance et de log-
vraisemblance telle que :
𝑛 𝑚

𝐿(𝑦, 𝛾, 𝛽) = ∏ ∏[𝑝𝑟𝑜𝑏(𝑦𝑖 = 𝑘)]

𝑖=1 𝑘=1
𝑛 𝑚
𝑒 𝑋𝑖 𝛽𝑘
𝐿(𝑦, 𝛾, 𝛽) = ∏ ∏ ( 𝑋𝑖 𝛽𝑗
) (6.8𝑎)
∑𝑚
𝑗=1 𝑒
𝑖=1 𝑘=1

En prenant le logarithme de cette fonction, on retrouve :

𝑛 𝑚 𝑛 𝑚

𝐿𝑜𝑔𝐿(𝑦, 𝛽) = ∑ ∑(𝑋𝑖 𝛽𝑘 ) − ∑ 𝑙𝑜𝑔 (∑ 𝑒 𝑋𝑖 𝛽𝑘 )

𝑖=1 𝑘=1 𝑖=1 𝑘=1

Et en normalisant le premier le vecteur de paramètre à 0 pour la première

modalité, on retrouve finalement :
𝑛 𝑚 𝑛 𝑚

𝐿𝑜𝑔𝐿(𝑦, 𝛽) = ∑ ∑(𝑋𝑖 𝛽𝑘 ) − ∑ 𝑙𝑜𝑔 (1 + ∑ 𝑒 𝑋𝑖 𝛽𝑘 ) (6.8𝑏)

𝑖=1 𝑘=2 𝑖=1 𝑘=2

130
La dérivation de cette fonction permet en adoptant un algorithme adapté de
retrouver les valeurs des paramètres 𝛽𝑘 correspondant à chaque modalité. Notons
aussi, que contrairement au probit ordonné, le probit "multinomial" permet bien
d’estimer les coefficients associés à la constante car la matrice des
caractéristiques 𝑋𝑖 contient bien un vecteur de constante.

Il existe, par ailleurs, une propriété très importante dans le modèle logit
multinomial qui indique que le rapport de probabilité entre deux alternatives est
indépendant des vecteurs des paramètres des autres modalités non concernées.
Cela se traduit comme suit :

𝑒 𝑋𝑖 𝛽𝑘
𝑃𝑟𝑜𝑏(𝑦𝑖 = 𝑗) ∑𝑚 𝑒 𝑋𝑖 𝛽𝑘 𝑒 𝑋𝑖 𝛽𝑘
= 𝑘=1𝑋 𝛽 = 𝑋 𝛽 = 𝑒 𝑋𝑖 (𝛽𝑘−𝛽𝑙)
𝑃𝑟𝑜𝑏(𝑦𝑖 = 𝑙) 𝑒 𝑖 𝑙 𝑒 𝑖 𝑙
𝑚
∑𝑘=1 𝑒 𝑖 𝑘
𝑋 𝛽

𝑃𝑟𝑜𝑏(𝑦𝑖 = 𝑗)
= 𝑒 𝑋𝑖 (𝛽𝑘−𝛽𝑙) (6.9)
𝑃𝑟𝑜𝑏(𝑦𝑖 = 𝑙)

Ainsi les disparités entre deux réponses quelconques ne dépendent que de 𝑋𝑖 et

des vecteurs paramétriques associés à ces deux réponses 𝛽𝑘 et 𝛽𝑙 . C’est la
condition dite IIA (Independance of Irrelevant Alternative).

6.4. Les extension des modèles multinomiaux : logit

conditionnel, logit emboité et modèles séquentiels.
6.4.1. Le modèle logit conditionnel
Le modèle logit conditionnel proposé pour la première fois par McFadden est très
étroitement lié au modèle multinomial logit non ordonné. Il existe cependant des
différences majeures entre ces deux modèles. En effet, dans le modèle logit
multinomial, il existe un seul vecteur de variables indépendantes pour chaque
observation (caractéristiques des individus) alors qu’il y a 𝑚 vecteurs différents
de paramètres associé à chaque modalité. Mais dans le modèle logit conditionnel,
les valeurs des variables indépendantes diffèrent selon les alternatives
(caractéristiques relatives aux modalités). C’est le vecteur des paramètres qui est
unique. Le modèle logit conditionnel suppose alors que le vecteur de paramètre 𝛽
est indépendant des modalités.

Pour mieux caractériser le modèle logit conditionnel, prenons le cas d’une localité
dont les habitants, pour se rendre au travail, ont le choix entre plusieurs modes
de déplacement : 1-Marche à pied et associés, 2- Vélo, 3- Voiture personnelle, 4-
Bus. On veut alors analyser les déterminants des choix des individus entre ces
différents modes de transport. Pour cela, on cherche d’abord à caractériser ces

131
modalités en déterminant les vecteurs 𝑋𝑖𝑘 . On peut alors considérer la durée de
trajet associée à chaque modalité (temps de trajet) et le coût financier associé à
chacune des modalités (dépenses monétaires : ticket de transport, prix du
carburant, etc..). On peut alors admettre que ces caractéristiques sont propres
aux modalités et non aux individus. D’où la notion de logit conditionnel. Bien
entendu, les individus font leur choix en tenant compte de ces facteurs (ici durée
et coût) ; et ceux-ci influencent de la même manière les différentes modalités.

Dans le modèle logit multinomial conditionnel, la probabilité que l’individu 𝑖

choisisse la modalité 𝑘, ∀ 𝑘 = 1, . . , 𝑚, est définie comme suit :

𝑒 𝑋𝑖𝑘𝛽
𝑃𝑟𝑜𝑏(𝑦𝑖 = 𝑘) = 𝑋𝑖𝑗 𝛽
∀ 𝑘 = 1, … , 𝑚 ; ∀ 𝑖 = 1, … , 𝑛 (6.10)
∑𝑚
𝑗=1 𝑒

En normalisant les vecteurs de caractéristiques 𝑋𝑖𝑗 par 𝑋𝑖1 le vecteur de

∗
caractéristique de la première modalité tel que 𝑋𝑖𝑗 = 𝑋𝑖𝑗 − 𝑋𝑖1, on peut
alors écrire :

1
𝑃𝑟𝑜𝑏(𝑦𝑖 = 1) = 𝑋𝑖𝑗 𝛽 ∗
1 + ∑𝑚
𝑗=2 𝑒

∗
𝑒 𝑋𝑖𝑘𝛽
𝑃𝑟𝑜𝑏(𝑦𝑖 = 𝑘) = 𝑋𝑖𝑗 𝛽 ∗ ∀ 𝑘 = 2, … , 𝑚
1 + ∑𝑚
𝑗=2 𝑒

En prenant l’exemple du mode de transport, on peut considérer que la modalité

de référence est la marche à pied. Pour normaliser les vecteurs des
caractéristiques, on soustrait respectivement le temps de trajet lié à la marche à
pied ainsi que la dépense monétaire associée (en l’occurrence 0) de toutes les
∗
autres valeurs sur les autres modalités. On obtient alors les 𝑋𝑖𝑘

L’un des grands avantages du modèle logit conditionnel est sa capacité à prédire
la probabilité associée à nouvelle modalité introduite parmi les modalités pré-
existantes. En effet, la probabilité associée à une nouvelle modalité s’exprime
comme suit :
∗ ̂
𝑒 (𝑋̂𝑖𝑚+1 𝛽)
𝑃𝑟𝑜𝑏(𝑦𝑖 = 𝑚 + 1) = ∗ ̂ ∗ ̂
∀ 𝑘 = 2, … , 𝑚 (6.11)
𝑋𝑖𝑗 𝛽
1 + ∑𝑚
𝑘=2 𝑒 + 𝑒 (𝑋̂𝑖𝑚+1 𝛽)

Où 𝑚 + 1 représente l’indice de la nouvelle modalité ajoutée aux 𝑚 modalités

existantes. 𝛽̂ est le vecteur de paramètres estimé avec 𝑚 premières modalités. 𝑋𝑖𝑗
∗

est le vecteur de caractéristique associée à la modalité 𝑗 ; valeur normalisée telle

que 𝑋𝑖𝑗∗ = 𝑋𝑖𝑗 − 𝑋𝑖1. Quant à 𝑋̂𝑖𝑚+1
∗
, il représente la valeur estimée du vecteur de

132
caractéristique associée à la modalité 𝑚 + 1 , normalisée telle que 𝑋̂𝑖𝑚+1
∗
=
𝑋̂𝑖𝑚+1 − 𝑋𝑖1.

La valeur estimée 𝑋̂𝑖𝑚+1 est généralement une valeur hypothétique qu’on attribue
à la nouvelle modalité. En effet, reprenons l’exemple du choix entre les modes de
transport définis par les modalités suivantes : 1-Marche à pied et associés, 2-
Vélo, 3- Voiture personnelle, 4- Bus. Supposons maintenant que dans cette localité
on veuille introduire un nouveau mode de transport, le tramway (codé par 5).
Puisque la modalité était inexistante, on ne peut donc pas déterminer avec
précisions les durées de trajet et même le coût financier à cette nouvelle modalité.
Il faut alors s’inspirer d’autres expériences à partir d’autres localités afin d’avoir
une idée approximative sur les durées de trajet et du coût financier. Ce qui
permet alors d’obtenir 𝑋̂𝑖𝑗 et par ricochet 𝑋̂𝑖𝑚+1
∗
.

Par ailleurs, tout comme le modèle logit multinomial, le modèle logit conditionnel
respecte la condition dite IIA (Independance of Irrelevant Alternative). En effet,
en calculant le rapport de probabilité entre deux alternatives 𝑗 et 𝑙, on trouve :

𝑒 𝑋𝑖𝑗𝛽
𝑃𝑟𝑜𝑏(𝑦𝑖 = 𝑗) ∑𝑚
𝑘=1 𝑒
𝑋𝑖𝑘 𝛽 𝑒 𝑋𝑖𝑗𝛽
= = 𝑋 𝛽 = 𝑒 (𝑋𝑖𝑗−𝑋𝑖𝑙)𝛽
𝑃𝑟𝑜𝑏(𝑦𝑖 = 𝑙) 𝑒 𝑋𝑖𝑙𝛽 𝑒 𝑖𝑙
∑𝑚
𝑘=1 𝑒
𝑋𝑖𝑘 𝛽

𝑃𝑟𝑜𝑏(𝑦𝑖 = 𝑗)
= 𝑒 (𝑋𝑖𝑗−𝑋𝑖𝑙)𝛽 (6.12)
𝑃𝑟𝑜𝑏(𝑦𝑖 = 𝑙)

Cette condition montre que les disparités entre deux réponses quelconques ne
dépendent que de 𝑋𝑖𝑘 et du vecteur de paramètres 𝛽. Selon cette condition IAA,
l’introduction d’une nouvelle modalité ne modifie pas le rapport de probabilité
entre deux modalités quelconques.

Cependant, la condition IAA peut être discutable dans beaucoup de situations.

Prenons par exemple le cas d’un pays A dont les habitants pour se rendre dans
un pays B ont le choix entre trois types de trajets : 1- le trajet terrestre assuré
exclusivement par autocar par une compagnie nommée LandTrans, 2- le trajet
maritime assuré par bateau de croisière exclusivement par une compagnie
nommée SeaTrans, 3- le trajet aérien assuré par avion de ligne par une
compagnie nommée AirTransOne. Supposons par ailleurs qu’un tiers des
voyageurs choisisse chaque mode de transport. Dans ce cas, la probabilité
associée à chaque modalité est 0,33 et le rapport de probabilité entre les
modalités deux à deux vaut 1. Supposons maintenant qu’une nouvelle compagnie
de transport aérien soit introduite nommée AirTransTwo. Puisque AirTransOne
AirTransTwo sont supposées proposer des services identiques, ces deux
compagnies doivent donc avoir les mêmes probabilités d’être choisie. Dans ces

133
conditions pour que la condition IAA soit toujours vérifiée (rapports de
probabilité non influencés par l’ajout d’une modalité supplémentaire), il faudrait
que les parts de marché de chaque modalité soit de 0.25 (soit un quart des
passagers pour chaque modalité). Ce qui apparait peu réaliste dans la mesure la
présence de deux compagnies sur le même segment peut tirer les prix à la baisse
dans ce segment et inciter les voyageurs à reporter leur choix sur ce mode de
transport. La question peut également se poser lorsqu’on introduit un nouveau
mode de transport terrestre en l’occurrence le transport ferroviaire assurée par
une compagnie de nommée RailwayTrans. Il devient moins sûr que les
probabilités initiales soient maintenues après cette introduction.

D’une manière générale, lorsque l’hypothèse IAA n’est pas vérifiée, il faut alors
penser à des modèles alternatifs qui ne sont pas fondés sur cette hypothèse
comme par exemple les modèles multinomiaux séquentiels.

6.4.2. Le modèles multinomiaux séquentiels

Les modèles multinomiaux séquentiels sont des modèles dans lesquels il existe
d’une part un ordre dans les modalités et où l’atteinte d’une modalité 𝑘 est
conditionnée par l’atteinte des modalités qui précèdent ce niveau. C’est le cas par
exemple lorsqu’on veut analyser la probabilité pour qu’un étudiant inscrit dans le
système LMD (Licence-Master-Doctorat) atteigne le niveau Doctorat dans son
cursus universitaire. On peut alors retenir trois modalités : 1-Licence ; 2-Master ;
3-Doctorat. Pour étudier cette question, on peut se servir d’un modèle
multinomial séquentiel car la probabilité d’atteindre le niveau master est
conditionnelle à l’obtention du niveau Licence. De même, l’atteinte du niveau
Doctorat est conditionnelle à l’obtention du niveau à la fois du niveau Licence et
Master. Dans un modèle multinomial séquentiel, la probabilité d’atteinte d’un 𝑘
est exprimée comme suit :
𝑚−1

𝑃𝑟𝑜𝑏(𝑦𝑖 = 𝑘) = ∏ [(1 − 𝐹𝑗 (𝑋𝑖 𝛽)) 𝐹𝑘 (𝑋𝑖 𝛽)] ∀ 𝑘 = 1, … , 𝑚 ; ∀ 𝑖 = 1, … , 𝑛 (6.13)

𝑗=1

Connaissant l’expression, on peut alors formuler la fonction de vraisemblance en

effectuant le triple produit sur les modalités et les individus comme suit :
𝑛 𝑚

𝐿(𝑦, 𝛽) = ∏ ∏[𝑃𝑟𝑜𝑏(𝑦𝑖 = 𝑘)]

𝑖=1 𝑘=1

𝑛 𝑚 𝑚−1

𝐿(𝑦, 𝛽) = ∏ ∏ ∏ [(1 − 𝐹𝑗 (𝑋𝑖 𝛽)) 𝐹𝑘 (𝑋𝑖 𝛽)] (6.14)

𝑖=1 𝑘=1 𝑗=1

134
On met alors en œuvre la procédure de maximisation de vraisemblance en
prenant d’abord le logarithme de cette fonction, qui sera ensuite optimisé en
utilisant les algorithmes disponibles dans la littérature. Lorsque la fonction F(.)
est celle d’une loi logistique, le modèle est alors appelé modèle logit séquentiel.
Malgré la complexité des procédures d’estimation de ces, plusieurs logiciels
statistiques fournissent aujourd’hui des routines pour estimer aisément les
paramètres de ces types de modèle. On peut noter par exemple le module seqlogit
de stata.

Bibliographie
Alban T. (2000), “Econométrie des Variables Qualitatives”, Dunod, Paris

Amemiya T. (1981), “Qualitative Response Models : A Survey”, Journal of

Economic Litterature,19(4), 481-536

Amemiya T. (1985), “Advanced Econometrics”, Cambridge, Harvard University

Press.

Araujo C, Brun J.F., Combes J. L, (2006), “ Econométrie ”, Bréal, Paris.

Behaghel L. (2006), “Lire l’économétrie”, collection Repères, La Découverte, Paris

Berkson J. (1951), “Why I prefer Logit to Probit”, Biometrics, 7, 327-339.

Bourbonnais, R. (1993), “Econométrie”. Dunod, Paris.

Bourbonnais, R.,(1998), “Econométrie”. Manuel et exercices corrigés, Dunod, 2è

édition

Cameron et Trivedi, (2009), “Microeconometrics: methods and applications”,

Cambridge University press.

Cohen, M. and Pradel, J. (1993), “Econométrie”. Litec, Paris.

Colletaz G. (2001), “Modèles à Variables Expliquées Qualitatives”, Miméo

Université Orléans

Davidson et MacKinnon, (1993), “Estimation and Inference in Econometric”,

Oxford University Press

Dodge, Y, Rousson, V.,(2004) “Analyse de régression appliquée”, Dunod, 2è

édition.

Giraud, R., Chaix, N.(1989), “Econométrie”, Presses Universitaires de France

(PUF).

135
Gourieroux C. (1989), “Econométrie des Variables Qualitatives”, Economica,
Paris.

Gouriéroux C. et Monfort A. (1996), “Statistique et Modèles Econométriques”,

Economica

Greene W, (2008), “Econometric Analysis ”, 6th edition, Upper Saddle River, NJ,
Prentice-Hall.

Johnson, J. et DiNardo, J. (1999), “Méthodes Econométriques”. Economica, Paris,

4 edition.

Judge G.G., Miller D.J. et Mittelhammer R.C. (2000), “Econometric Foundations”,

CambridgeUniversity Press.

Judge, G., Griffiths, W., Carter Hill, R., Lütkepohl, H., and Lee, T. (1985), “The
Theory and Practice of Econometrics”. Wiley, USA, 2 edition.

Labrousse, C. (1983), “Introduction à l'économétrie”, Dunod, Paris.

Maddala. G.S. (1983), “Limited-dependent and Qualitative Variables in

Econometrics”, EconometricSociety Monographs, 3, Cambrige University Press.

Morimune K. (1979), “Comparisons of Normal and Logistic Models in the

Bivariate Dichitomous Analysis”, Econometrica, 47, 957-975.

Ruud, P. (2000), “An Introduction to classical Econometric Theory”. Oxford

University Press, New York,Oxford.

Theil, H. (1979), “Principles of Econometrics”, Wiley Hamilton publication,

Canada.

Tobin J. (1958), “Estimation of Relationships for Limited Dependent Variables”,

Econometrica,

Wooldridge J. (2003), “Introductory Econometrics, A Modern Approach”, South-

Western

Wooldridge J., (2010), “Econometric Analysis of Cross Section and Panel Data ”.
Cambridge, MA: MIT Press.

136