Chapitre 01 Rappels mathématiques

Chapitre 1
Rappels mathématiques
Contenu de chapitre

 Rappels mathématiques sur les Vecteurs, matrices, Valeurs et vecteurs propres

 Positivité
 Convexité
 Gradient et Hessien

1. Introduction

Lorsqu’on parle de l’optimisation nous devons impérativement passer par les mathématiques qui présentent
l’outil indispensable afin de les techniques d’optimisations basent sur.

2. Notions mathématiques de base pour résoudre les problèmes d’optimisations

 Vecteurs

Le vecteur réel X de dimension n, se met sous la forme :

𝑥1
𝑥
𝑋 = [ ⋯2 ]
𝑥𝑛

Ou encore de la manière suivante :

𝑋 = [𝑥1 𝑥2 ⋯ 𝑥𝑛 ]′

- On dit deux vecteurs sont égaux ssi tous leurs éléments sont égaux.
- Le produit scalaire de deux vecteurs X et Y est dé ni par :

𝑋 ′ 𝑌 = 𝑌 ′ 𝑋 = ∑ 𝑥𝑖 𝑦𝑖
𝑖=1

- Les deux vecteurs X et Y sont orthogonaux si :

Page | 1
Chapitre 01 Rappels mathématiques
′
𝑋𝑌=0

- La norme d'un vecteur X est :

|𝑋| = √𝑋 ′ 𝑋

- L'inégalité de Cauchy-Schwarz est vérifiée pour les deux vecteurs X et Y

|𝑋′𝑌| = |𝑋|. |𝑌|

 Matrices

Dans ce cours on ne considère que les matrices réelles. Une matrice A de dimension (m× n) est donnée par:

𝑎11 𝑎12 … 𝑎1𝑛

𝑎 𝑎22 … 𝑎2𝑛
𝐴=[ …21
… … … ]
𝑎𝑚1 𝑎𝑚2 … 𝑎𝑚𝑚

La matrice transposée de la matrice A qu'on note A' ou AT , est de dimension (n × m) est la suivante :

𝑎11 𝑎21 … 𝑎𝑚1

… 𝑎𝑚2
𝐴 = [ 𝑎…
12 𝑎22
… … … ]
𝑎1𝑛 𝑎2𝑛 … 𝑎𝑚𝑚

La somme ( / différence) de deux matrice de dimensions identiques est une matrice de même dimension, dont les
éléments sont égaux à la somme (/ différence) des éléments de même position. Le produit de deux matrice A (m
× p) et B (p × n) est une matrice C (m × n) dont les éléments sont :

𝑐𝑖𝑗 = ∑ 𝑎𝑖𝑘 𝑏𝑘𝑗 𝑖 = 1,2, … . , 𝑚 𝑗 = 1,2, … . , 𝑛

𝑘=1

La multiplication des matrices requière une attention particulière, le nombre de colonne de la première doit être
égale au nombre de ligne de la deuxième. Prenant l'exemple illustratif suivant : soit un vecteur X de dimension n
alors ;

𝑥1
⋯ 𝑥
𝑥𝑛 ] [ 2 ] = 𝑥12 + 𝑥22 + ⋯ + 𝑥𝑛2
𝑋 ′ 𝑋 = [𝑥1 𝑥2 ⋯
𝑥𝑛

Page | 2
Chapitre 01 Rappels mathématiques
Le résultat du produit 𝑋 ′ 𝑋 est un scalaire.

𝑥1 𝑥12 𝑥1 𝑥2 … 𝑥1 𝑥𝑛
𝑥 ⋯ 𝑥𝑛 ] = [𝑥2 𝑥1 𝑥22 … 𝑥2 𝑥𝑛 ]
𝑋 ′ 𝑋 = [ ⋯2 ] [𝑥1 𝑥2
… … … …
𝑥𝑛 𝑥𝑛 𝑥1 𝑥𝑛 𝑥2 … 𝑥𝑛2

Le résultat du produit 𝑋 ′ 𝑋 est une matrice. Une matrice est dite carrée dans le cas particulier où n = m. On défni
la matrice identité I de la manière suivante :

1 0 … 0
0 …
𝐼 = [… 1 … …
0]
…
0 0 … 1

Souvent on indique la dimension n de la matrice identité In

3. Valeurs et vecteurs propres

On appel le scalaire λ valeur propre de la matrice A s'il existe un vecteur non nul V tel que :

𝐴𝑉 = 𝜆𝑉

Le vecteur V est appelé vecteur propre de la matrice A associé à la valeur propre λ ( Exemple A = [3 2 ; 3 − 2],
V = [2 1] ′ , λ = 4). Les valeurs propres présentent la solution de l'équation caractéristique suivante :

|𝐴 − 𝜆 𝐼𝑛 | = 0

Le déterminant d'une matrice A peut être donné par le produit de ses valeurs propres qu'on note 𝜆𝑛𝑖=1 .

|𝐴| = ∏ 𝜆𝑖
𝑖=1

Si la matrice carrée A est symétrique alors :

1. Les valeurs propres sont positifs.

2. Les vecteurs propres associées aux différentes valeurs propres sont orthogonaux.

3. Il existe une base orthogonale où chaque élément présente un vecteur propre de A.

Page | 3
Chapitre 01 Rappels mathématiques
La matrice carrée A est inversible si son déterminant est différent de zéro. La matrice inverse est notée A−1 , on a
alors :

𝐴𝐴−1 = 𝐼𝑛

La trace de A est la somme de ses éléments diagonaux :

𝑡𝑟𝑎𝑐𝑒(𝐴) = 𝑇𝑟(𝐴) = ∑ 𝑎𝑖𝑖

𝑖=1

La trace d'une matrice carrée est égale à la somme de ces valeurs propres.

𝑇𝑟(𝐴) = ∑ 𝜆𝑖

Une matrice est dite symétrique si elle vérifie la condition : 𝐴 = 𝐴′

4. Positivité

Une fonction f(x) est dite positive SSi : f(x) > 0, ∀ x ∈ ℝ.

Une matrice symétrique A est définie positive SSi 𝑋 ′ 𝐴 𝑋 > 0, ∀𝑋 ≠ 0

Une matrice symétrique A de dimension n est définie positive si toutes les valeurs propres sont positives λi > 0,
∀ i = 1, ..., n.

Une matrice A de dimension n est définie positive si tous les mineurs principaux sont positifs.

5. Convexité

La convexité joue un rôle extrêmement important en optimisation puisqu’elle permet d’étudier en général l’unicité
des solutions d’un problème d’optimisation.

5.1. Ensemble convexe

Un ensemble Ω ∈ ℝ𝑛 est dit convexe si pour 𝑢 et 𝑣 deux points de Ω, tous les points du segment [𝑢 𝑣] appartient
à Ω.

Page | 4
Chapitre 01 Rappels mathématiques
Géométriquement :

Exemple : Les ensembles A, B, et C sont des ensembles convexes, D et E sont des ensembles non convexes. Un
ensemble convexe ne peut avoir des parties entrantes comme D ou de trous comme E

5.2. Fonction Convexe

𝑓 est une fonction convexe si son domaine est un ensemble convexe et si pour deux points x et y dans ce domaine,
le graphe de f se trouve en dessous de la ligne droite reliant (x, 𝑓 (x)) à y, 𝑓 (y)) dans l'espace ℝ𝑛+1 . Autrement,
nous avons

Fonction convexe Fonction non convexe

Page | 5
Chapitre 01 Rappels mathématiques
Concavité : soit 𝑓 ∶ ℝ𝑛 ⟶ ℝ est dite concave si – 𝑓 est une fonction convexe, i-e pout tout 𝑥, 𝑦 ∈ ℝ𝑛 on peut
écrire

Fonction concave

6. Gradient et Hessien

Soit f (X) une fonction scalaire de n variables. Le gradient de la fonction f qu'on note ∇ f est un vecteur ligne
dont les éléments sont les dérivées partielles de la fonction f suivant chaque variable.

𝜕𝑓 𝜕𝑓 𝜕𝑓 𝜕𝑓
∇𝑓 = =[ … ]
𝜕𝑋 𝜕𝑥1 𝜕𝑥2 𝜕𝑥𝑛

Soit f (X) une fonction scalaire de n variables. Le Hessien de la fonction f, qu'on note Hf ou H est une matrice
de dimension (n × n), dont les éléments sont les dérivées partielles d'ordre deux de la fonction f.

𝜕 2𝑓 𝜕 2𝑓 𝜕 2𝑓
⋯
(𝜕𝑥1 )2 𝜕𝑥1 𝜕𝑥2 𝜕𝑥1 𝜕𝑥𝑛
2 2
𝜕 2𝑓 𝜕 𝑓 𝜕 𝑓 𝜕 2𝑓
H𝑓 =𝐻 = = 𝜕𝑥 𝜕𝑥 (𝜕𝑥 )2 ⋯ 𝜕𝑥 𝜕𝑥
(𝜕𝑋)2 2 1
… 2… … 2 𝑛

𝜕 2𝑓 𝜕 2𝑓 𝜕 2𝑓
⋯
[𝜕𝑥𝑛 𝜕𝑥1 𝜕𝑥𝑛 𝜕𝑥2 (𝜕𝑥𝑛 )2 ]

Page | 6