Equation de Riccati

aft
Equation Matricielle Algébrique de Riccati

Résolution par l’algorithme de Vaughan
Jean-Paul K. Tsasa Vangu
DrLaboratoire d’analyse-recherche en économie quantitative
Décembre 29, 2014
Jean-Paul K. Tsasa (LAREQ) Equation Matricielle Algébrique de Riccati Décembre 29, 2014 1 / 25
Présentation Laréq
Sommaire
aft
1 Présentation Laréq
2 Exposé du problème
3 Approximation LQ Dr
4 Résolution de l’équation de Riccati
Présentation Laréq
Introduction
aft
Cette présentation s’inscrit dans le cadre de la rubrique “DIVERS” des réunions
LAREQ
L’objectif de cette rubrique est :
d’une part, de faire le parallélisme entre les aspirations exprimées par des cher-
cheurs non-économistes, sur l’orientation des théories économiques
et de l’autre, de motiver les chercheurs-L à converger vers la frontière de re-

Dr
cherche
Pour plus de détails, cf. : http://www.lareq.com
Exposé du problème
Sommaire
aft
Illustrons comment l’algorithme de Vaughan peut être utilisé dans l’analyse
aft
macroéconomique moderne
Une classe importante de modèles RBC ou DSGE peuvent s’écrire comme des
équations matricielles algébriques de Riccati
L’algorithme de Vaughan en constitue une méthode directe de résolution
Dans la pratique, la méthode de Vaughan est généralement beaucoup plus
rapide que la méthode d’itération sur l’équation de Bellman
Dr
Principale référence :
VAUGHAN David R., 1970, “A Nonrecursive Algebraic Solution for the Discrete
Riccati Equation”, Institute of Electrical and Electronics Engineers Transactions
on Automatic Control, AC - 15 (5) : 597–599.
Approximation LQ
Sommaire
aft
Approximation LQ
Problème linéaire quadratique
Considérons un modèle du planificateur social (cf. RBC ou DSGE models),
aft
exprimé comme un problème de contrôle optimal linéaire quadratique (LQ),
tel que :
∞
X
max
∞
β t {xt0 Rxt + ut0 Qut } (1)
{ut }t=0
t=0
sujet à la loi de transition :

Dr xt+1 = Axt + But ,
où x0 est donné ; xt un vecteur des variables d’état de format n × 1 ; ut un

vecteur des variables de contrôle de format k × 1 ; R une matrice symétrique
(2)
semi-définie négative ; Q est une matrice symétrique définie positive ; A une

matrice de format n × n et B une matrice de format n × k
Approximation LQ
Equation de Bellman
Guess and Verify :
aft
Conjecturons que la fonction valeur est quadratique :
V (xt ) = xt0 Pxt , (3)
où P est une matrice symétrique sémi-définie positive
Dès lors, l’équation de Bellman s’écrit :
V (xt ) = max {xt0 Rxt + ut0 Qut + βV (xt+1 )}

Dr (4)
= max xt0 Rxt + ut0 Qut + βxt+1
0

Pxt+1
En servant de la loi de transition, il vient que :
V (xt ) = max {xt0 Rxt + ut0 Qut + β[Axt + But ]0 P[Axt + But ]} (5)
ut
Approximation LQ
Conditions du premier ordre
En notation récursive, et après réaménagement, l’équation de Bellman peut
aft
donc finalement s’écrire comme suit :
V (x) = max x 0 Rx + u 0 Qu + β[x 0 A0 PAx + x 0 A0 PBu + u 0 B 0 PAx + u 0 B 0 PBu]

u
Puisque :
∂x 0 Ax
= (A + A0 )x
Dr ∂x
∂y 0 Bz
= Bz (6)
∂y
∂y 0 Bz
= B0y
∂z
Approximation LQ
Conditions du premier ordre
Ainsi, la CPO implique :
aft
(Q + Q 0 )u + β[B 0 P 0 Ax + B 0 PAx + (B 0 PB + B 0 P 0 B)u] = 0 (7)
Q et P étant symétriques, il suit que :
2Qu + 2β[B 0 PBu + B 0 PAx] = 0

(8)
=⇒ [Q + βB 0 PB]u = −βB 0 PAx
Dr
Dès lors, la fonction politique (règle de décision) s’écrit :
u = −Fx, (9)
avec F = β[Q + βB 0 PB]−1 B 0 PA
Approximation LQ
Equation matricielle algébrique de Riccati

Guess and Verify :
aft
Vérifions à présent que la fonction valeur est quadratique
Substituons la fonction politique dans la fonction valeur :
V (x) = x 0 Rx + [−Fx]0 Q[−Fx] + βx 0 A0 PAx + βx 0 A0 PB[−Fx]

(10)
+ β[−Fx]0 B 0 PAx + β[−Fx]0 B 0 PB[−Fx]
Nous nous servirons des propriétés matricielles suivantes :

Dr [A0 ]0 = A
[A + B]0 = A0 + B 0
[AB]0 = B 0 A0 (11)
−1
AA =I
−1 0
[A ] = [A0 ]−1
Approximation LQ

Sachant que P, Q et R sont symétriques, il vient que :
aft
V (x) = x 0 Rx + x 0 F 0 QFx + βx 0 A0 PAx − βx 0 A0 PBFx − βx 0 F 0 B 0 PAx
+ βx 0 F 0 B 0 PBFx
= x 0 Rx + βx 0 A0 PAx − βx 0 A0 PBFx − βx 0 F 0 B 0 PAx
+ x 0 F 0 (Q + βB 0 PB)Fx
(12)
= x 0 Rx + βx 0 A0 PAx − βx 0 A0 PBFx − βx 0 F 0 B 0 PAx
+ x 0 F 0 (Q + βB 0 PB)β(Q + βB 0 PB)−1 B 0 PAx
= x Rx + β[x 0 A0 PAx − x 0 A0 PBFx − x 0 F 0 B 0 PAx + xF 0 B 0 PAx]
0
Dr
= x 0 Rx + β[x 0 A0 PAx − x 0 A0 PBFx]
Il ressort que la fonction valeur est bien “quadratique” :
V (x) = x 0 [R + β(A0 PA − A0 PBF )]x (13)
Approximation LQ

Au regard de la conjecture, cf. Equation (3), il suit que
aft
P = R + βA0 PA − βA0 PBF
(14)
= R + βA0 PA − β 2 A0 PB[Q + βB 0 PB]−1 B 0 PA
La relation (14) est appelée équation matricielle algébrique de Riccati
L’équation matricielle algébrique de Riccati exprime la matrice P comme une

fonction implicite des matrices exogènes R, Q, A et B
Dr
Cette équation peut être résolue analytiquement, si P est d’ordre 2 × 2
Dans le cas contraire, i.e. pour un P d’ordre supérieur à 2, la résolution doit

être faite numériquement (par ordinateur)
Approximation LQ
Riccati versus Bellman

L’équation matricielle algébrique de Riccati est une équation de Belmman
aft
Il suffit de considérer que :
P est la fonction valeur V , pouvant également s’écrire :
Pj+1 = R + βA0 Pj A − β 2 A0 Pj B[Q + βB 0 Pj B]−1 B 0 Pj A (15)
et F , la fonction politique (règle de décision) :
Ft+1 = β[Q + βB 0 Pj B]−1 B 0 Pj A (16)

Dr
Dès lors, il est possible d’appliquer les méthodes numériques généralement
utilisées pour résoudre l’équation de Bellman
Plutôt que de recourir la méthode d’itération de la fonction valeur, comme
illustrée précédemment (cf. Vidéo-Laréq sur MatLab), nous allons appliquer la
méthode des vecteurs propres de Vaughan
Résolution de l’équation de Riccati
Sommaire
aft
Algorithme de Vaughan
L’algorithme de Vaughan permet de résoudre directement l’équation de Riccati
aft
et d’en extraire une solution algébrique non récursive, i.e sans passer par les
itérations sur la fonction valeur
Sa mise en oeuvre nécessite la formalisation du problème de contrôle optimal

comme un Lagrangien
Exprimer la matrice des multiplicateurs de Lagrange en termes de dérivée de

la fonction valeur
Dr
Ensuite, dériver les restrictions linéaires que la stabilité impose à travers les
multiplicateurs et le vecteur d’état
In fine, exploiter ces restrictions pour calculer la matrice P, i.e. résoudre

l’équation de Riccati
Considérons le Lagrangien du modèle défini par (1 - 2) :
aft
∞
X
β t xt0 Rxt + ut0 Qut − λ0t+1 (xt+1 − Axt − But )

J = (17)
t=0
CPOs {ut ; xt+1 ; λt+1 }, pour tout t ≥ 0 :
2Qut + B 0 λt+1 = 0 (18)

Dr 2βRxt+1 − λt+1 + βA0 λt+2 = 0
xt+1 − Axt − But = 0,

(19)
(20)
où {λt }∞
t=0 une séquence de matrices des multiplicateurs de Lagrange
(18) dans (20) implique :
aft
xt+1 = Axt − BQ −1 B 0 µt+1
(21)
=⇒ xt = A−1 xt+1 + A−1 BQ −1 B 0 µt+1 ,
où µt = 21 λt
(21) dans (19) :
λt = 2βRxt + βA0 λt+1

Dr
=⇒ µt = βR[A−1 xt+1 + A−1 BQ −1 B 0 µt+1 ] + βA0 µt+1 (22)
−1 −1 −1 0 0
= βRA xt+1 + β[RA BQ B + A ]µt+1
En empilant (21) et (22), il vient que :
aft

xt x
= H t+1 (23)
µt µt+1
où H est une matrice symplectique composée des coefficients, telle que :
−1
A−1 BQ −1 B 0

A
H= (24)
βRA−1 β(RA−1 BQ −1 B 0 + A0 )
Cette dernière matrice peut directement être décomposée pour obtenir la ma-
Dr
trice P de Riccati, et ensuite la solution au problème LQ :
H=

V11 V12

Λ 0

V11 V12
−1
, (25)
V21 V22 0 Λ−1 V21 V22
où Λ est un vecteur des valeurs propres de H
Note 1 : la matrice H étant symplectique, les valeurs propres sont telles que
aft
la réciproque de chaque valeur propre est aussi une valeur propre (réciproques
paires)
Cette propriété est importante, car impliquant une solution unique stable, i.e.
une solution qui satisfait la condition de transversalité et qui assure que la
fonction retour (utilité) est bornée
Note 2 : les valeurs propres du vecteur Λ sont toutes supposées distinctes et

situées à l’extérieur du cercle unité
Dr
Cette dernière propriété garantit l’existence d’une matrice non singulière des
matrices caractéristiques V telles que : ∆ = V −1 HV , et donc :
H = V ∆V −1 , (26)

Λ 0
avec ∆ = , la matrice diagonale des vecteurs propres de H
0 Λ−1
Dérivation de l’équation de Vaughan

Exploitons à présent, le fait que le multiplicateur de Lagrange est la dérivée de
aft
la fonction valeur, i.e. µt = Pxt
L’objectif des manipulation qui suivent est, d’obtenir un système dynamique

stationnaire pour x tel que :
xt+1 = [V11 Λ−1 (W11 + W12 )P + V12 Λ(W21 + W22 )P]xt (27)
où W = V −1

Dr
Pré-multiplions (23) par H−1 :
xt+1
µt+1

=V
−1
Λ
0

0 W11 xt + W12 µt
Λ W21 xt + W22 µt

(28)

Après j itérations sur (28), il suit que :
aft
−j
xt+j Λ 0 W11 xt + W12 µt
=V (29)
µt+j 0 Λj W21 xt + W22 µt
Résolvons l’équation (29) telle qu’on ait toujours xt → 0 lorsque t → ∞, quel

que soit xt0 initial
Puisque chaque composante de Λ est extérieure au cercle unité, afin de garantir

que xt → 0 lorsque t → ∞, il suffit d’imposer que les composantes de la
Dr
solution de l’équation (29) multipliant Λj soient nulles, d’où :
W21 xt + W22 µt = 0 (30)

De (30), il vient que :
aft
le multiplicateur de Lagrange µt (shadow price) doit satisfaire la relation :
−1
µt = −W22 W21 xt (31)
L’équation (31) établit que le shadow price est une fonction temporellement
invariante de xt , que l’on peut noter :
µt = Pxt (32)
−1
où P = W22 W21
Dr
l’équation (29) s’écrit dès lors :

xt+j

V11 Λ−j (W11 xt + W12 µt

= (33)
µt+j V21 Λ−j (W11 xt + W12 µt

Au regard de (32), l’équation (33) peut être réécrite comme suit :
aft
PV11 Λ−j (W11 xt + W12 µt

Pxt+j
= , (34)
µt+j V21 Λ−j (W11 xt + W12 µt
ce qui implique que PV11 = V21 , d’où :

−1
P = V21 V11 (35)
Dr
Cette dernière équation, appelée équation de Vaughan, caractérise la solution
de l’équation matricielle algébrique de Riccati
aft
Dr
Jacopo F Riccati

Equation de Riccati

Transféré par

Droits d'auteur :

Formats disponibles

Equation de Riccati

Transféré par

Informations du document

Description originale:

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Equation de Riccati

Transféré par

Droits d'auteur :

Formats disponibles

aft

Equation Matricielle Algébrique de Riccati

Jean-Paul K. Tsasa Vangu

DrLaboratoire d’analyse-recherche en économie quantitative

Décembre 29, 2014

L’objectif de cette rubrique est :

et de l’autre, de motiver les chercheurs-L à converger vers la frontière de re-

Pour plus de détails, cf. : http://www.lareq.com

Problème linéaire quadratique

Considérons un modèle du planificateur social (cf. RBC ou DSGE models),

sujet à la loi de transition :

où x0 est donné ; xt un vecteur des variables d’état de format n × 1 ; ut un

semi-définie négative ; Q est une matrice symétrique définie positive ; A une

V (xt ) = xt0 Pxt , (3)

où P est une matrice symétrique sémi-définie positive

Dès lors, l’équation de Bellman s’écrit :

V (xt ) = max {xt0 Rxt + ut0 Qut + βV (xt+1 )}

En servant de la loi de transition, il vient que :

Conditions du premier ordre

En notation récursive, et après réaménagement, l’équation de Bellman peut

V (x) = max x 0 Rx + u 0 Qu + β[x 0 A0 PAx + x 0 A0 PBu + u 0 B 0 PAx + u 0 B 0 PBu]

Conditions du premier ordre

Ainsi, la CPO implique :

Q et P étant symétriques, il suit que :

2Qu + 2β[B 0 PBu + B 0 PAx] = 0

avec F = β[Q + βB 0 PB]−1 B 0 PA

Equation matricielle algébrique de Riccati

Substituons la fonction politique dans la fonction valeur :

V (x) = x 0 Rx + [−Fx]0 Q[−Fx] + βx 0 A0 PAx + βx 0 A0 PB[−Fx]

Nous nous servirons des propriétés matricielles suivantes :

Equation matricielle algébrique de Riccati

Il ressort que la fonction valeur est bien “quadratique” :

V (x) = x 0 [R + β(A0 PA − A0 PBF )]x (13)

Equation matricielle algébrique de Riccati

La relation (14) est appelée équation matricielle algébrique de Riccati

L’équation matricielle algébrique de Riccati exprime la matrice P comme une

Dans le cas contraire, i.e. pour un P d’ordre supérieur à 2, la résolution doit

Riccati versus Bellman

Pj+1 = R + βA0 Pj A − β 2 A0 Pj B[Q + βB 0 Pj B]−1 B 0 Pj A (15)

et F , la fonction politique (règle de décision) :

Ft+1 = β[Q + βB 0 Pj B]−1 B 0 Pj A (16)

Sa mise en oeuvre nécessite la formalisation du problème de contrôle optimal

Exprimer la matrice des multiplicateurs de Lagrange en termes de dérivée de

In fine, exploiter ces restrictions pour calculer la matrice P, i.e. résoudre

CPOs {ut ; xt+1 ; λt+1 }, pour tout t ≥ 0 :

2Qut + B 0 λt+1 = 0 (18)

xt+1 − Axt − But = 0,

(21) dans (19) :

λt = 2βRxt + βA0 λt+1

où Λ est un vecteur des valeurs propres de H

Note 2 : les valeurs propres du vecteur Λ sont toutes supposées distinctes et

Dérivation de l’équation de Vaughan

L’objectif des manipulation qui suivent est, d’obtenir un système dynamique

Dérivation de l’équation de Vaughan

Résolvons l’équation (29) telle qu’on ait toujours xt → 0 lorsque t → ∞, quel

Puisque chaque composante de Λ est extérieure au cercle unité, afin de garantir

W21 xt + W22 µt = 0 (30)

Dérivation de l’équation de Vaughan

Dérivation de l’équation de Vaughan