2014 Bourgin These
2014 Bourgin These
2014 Bourgin These
THÈSE
pour obtenir le grade de docteur délivré par
Spécialité: Hydrologie
François BOURGIN
le 7 Avril 2014
Jury
M. Pierre RIBSTEIN METIS - UPMC, Paris Président
Mme Anne-Catherine FAVRE LTHE, Grenoble Rapporteur
M. Éric GAUME IFSTTAR, Nantes Rapporteur
M. Christophe CUDENNEC Agrocampus Ouest, Rennes Examinateur
M. Éric SERVAT Hydrosciences, Montpellier Examinateur
M. Massimiliano ZAPPA WSL, Birmensdorf Examinateur
M. Lionel BERTHET DREAL Auvergne, Clermont-Ferrand Invité
AgroParisTech
Irstea, Unité de recherche Hydrosystèmes et Bioprocédés
1 rue Pierre-Gilles de Gennes, CS 10030, 92761 Antony cedex
Doctorat ParisTech
École Doctorale Géosciences, Ressources Naturelles et Environnement
THÈSE
pour obtenir le grade de docteur délivré par
Spécialité: Hydrologie
François BOURGIN
le 7 Avril 2014
Jury
M. Pierre RIBSTEIN METIS - UPMC, Paris Président
Mme Anne-Catherine FAVRE LTHE, Grenoble Rapporteur
M. Éric GAUME IFSTTAR, Nantes Rapporteur
M. Christophe CUDENNEC Agrocampus Ouest, Rennes Examinateur
M. Éric SERVAT Hydrosciences, Montpellier Examinateur
M. Massimiliano ZAPPA WSL, Birmensdorf Examinateur
M. Lionel BERTHET DREAL Auvergne, Clermont-Ferrand Invité
R EMERCIEMENTS
J’adresse également mes sincères remerciements aux membres du jury qui m’ont fait l’hon-
neur d’évaluer ces travaux, en premier lieu Pierre Ribstein, en sa qualité de président, Anne-
Catherine Favre et Éric Gaume pour leur lecture attentive du manuscrit et leurs suggestions
pertinentes, et Lionel Berthet, Christophe Cudennec, Éric Servat et Massimiliano Zappa pour
leur participation au jury de thèse et leurs remarques non moins pertinentes.
Je remercie une nouvelle fois Lionel Berthet, ainsi que Nicolas Le Moine, Ludovic Oudin, Eric
Parent et Benjamin Renard, pour avoir suivi le déroulement de cette thèse et su prodiguer
conseils, critiques et encouragements au cours des réunions du comité de thèse. En tant que
membres permanents de l’équipe, Maria-Helena Ramos, Guillaume Thirel et Carina Furusho
ont non seulement participé à ces réunions mais également contribué très activement aux
différents travaux réalisés au cours de cette thèse ; un grand merci à tous les trois !
Cette thèse a bénéficié du soutien financier du SCHAPI, et je tiens à remercier tout particuliè-
rement André Bachoc et Bruno Janet pour l’intérêt qu’ils ont manifesté pour mes travaux. Les
échanges avec plusieurs membres des SPC ont également permis d’assurer à cette thèse une
portée opérationnelle, et je les en remercie.
J’adresse par ailleurs mes remerciements au SCHAPI et à Météo-France pour avoir mis
à disposition les données hydro-météorologiques utilisées dans cette thèse, et à l’école
doctorale GRNE et AgroParisTech pour les formations (y compris lors de stages de terrain) et
le suivi académique dont j’ai bénéficié.
Il est difficile de quitter sans une certaine nostalgie l’équipe et le groupement d’Antony.
Merci à tous ceux qui ont contribué à faire de cet endroit un lieu où il fait bon aller. Je pense
bien sûr aux activités sportives qui nous rassemblent, aux cuvées du nectar d’Antony, et la
bienveillance de l’ensemble des personnes qui facilitent les démarches administratives et
v
vi
l’utilisation des ressources informatiques ; aux discussions prolongées dans les transports, les
soirées ici et là, au cours de week-ends classés pas joli-joli où l’hydrologie se fait et se défait
au rythme de la pluie.
Enfin, comment oublier mes amis et les membres de ma famille qui ont su m’accompagner,
m’encourager et me supporter (parfois ?) au cours de ces années de thèse. Merci pour votre
soutien indispensable ! Et je pense bien sûr à toi, Tafadzwa. Tu sais.
R ÉSUMÉ
vii
A BSTRACT
ix
TABLE DES MATIÈRES
Remerciements v
Résumé vii
Abstract ix
Introduction générale 1
xi
xii Table des matières
5.1 Distributions des critères de performance NSQ obtenus pour 1000 jeux de
paramètres, pour chaque bassin et chaque période. . . . . . . . . . . . . . . . . 72
5.2 Boxplots des écarts interquartiles des distributions marginales des paramètres
transformés obtenus avec le critère NSQ. . . . . . . . . . . . . . . . . . . . . . . 73
5.3 Boxplots des valeurs médianes des distributions marginales des paramètres
transformés obtenus avec le calage bayésien (MCMC). . . . . . . . . . . . . . . . 77
5.4 Boxplots des écarts interquartiles des distributions marginales des paramètres
transformés obtenus avec le calage bayésien (MCMC). . . . . . . . . . . . . . . 78
5.5 Illustration des différentes méthodes testées dans un contexte de simulation. 83
6.1 Boxplots des indices de fiabilité et de finesse des distributions prédictives obte-
nues avec la méthode GLUE et le calage bayésien (MCMC). . . . . . . . . . . . 89
6.2 Diagrammes en nuage de points entre les indices de fiabilité et de finesse
obtenus avec la méthode GLUE pour différents seuils d’efficacité. . . . . . . . 90
xvii
xviii Table des figures
8.1 Boxplots des indices de fiabilité et de finesse des distributions prédictives obte-
nues avec six méthodes de post-traitement statistique. . . . . . . . . . . . . . . . 127
8.2 Boxplots des indices de performance globale obtenus avec six méthodes de
post-traitement statistique. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
8.3 Boxplots des Brier Skill Score obtenus avec six méthodes de post-traitement
statistique. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
8.4 Fréquences cumulées des gains de fiabilité, finesse et performance globale de
la méthode CemaS par rapport à la méthode CemaM. . . . . . . . . . . . . . . . 131
8.5 Diagrammes en nuage de points des gains de fiabilité et finesse obtenus avec la
méthode CemaS par rapport à la méthode CemaM. . . . . . . . . . . . . . . . . 133
8.6 Fréquences cumulées des gains sur le score de Brier obtenus avec la méthode
CemaS par rapport à la méthode CemaM. . . . . . . . . . . . . . . . . . . . . . . 134
Table des figures xix
9.1 Locations of the 202 French catchments used in this study. . . . . . . . . . . . . 141
9.2 Distributions of two deterministic scores, the relative bias (BIAS) and the nor-
malized root-mean-square error (NRMSE). . . . . . . . . . . . . . . . . . . . . . . 147
9.3 PIT diagrams of the 24 h ahead streamflow ensemble forecasts. . . . . . . . . . 149
9.4 Distributions of the alpha score reliability index. . . . . . . . . . . . . . . . . . 150
9.5 Distributions of the normalized mean interquartile range (NMIQR). . . . . . . 152
9.6 Distributions of the mean CRPSS. . . . . . . . . . . . . . . . . . . . . . . . . . . 153
2.1 Description des indices utilisés pour la classification hiérarchique des bassins
versants. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.2 Paramètres du modèle GR4J. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
2.3 Paramètres du modèle GRP. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
5.1 Liste des dix-sept modèles hydrologiques utilisés pour l’approche multi-modèles. 79
xxi
I NTRODUCTION GÉNÉRALE
Introduction générale 3
Malgré ces limites, auxquelles sont confrontées de manière plus générale toutes les sciences
de l’environnement, la modélisation est devenue au cours des dernières décennies un outil
privilégié pour de nombreuses activités de recherche et applications opérationnelles. En
hydrologie, la modélisation est notamment utilisée pour la gestion des ressources en eau,
la prévision des crues, le dimensionnement des ouvrages hydrauliques ou encore le test de
différents scénarios.
Les méthodes d’analyse et de quantification des incertitudes diffèrent par leurs approches, les
variables auxquelles elles s’intéressent, et les hypothèses de modélisation sur lesquelles elles
reposent. La variété des méthodes proposées est une réponse à la diversité des thématiques
que le sujet recouvre. Montanari (2011) évoque par exemple les thématiques suivantes :
Il s’agit donc avant tout de bien distinguer ces différentes questions et les objectifs des
différentes méthodes. Certaines méthodes chercheront à quantifier de manière explicite
les contributions de différentes sources d’incertitude, tandis que d’autres ne s’intéresseront
qu’à la quantification de l’incertitude totale sur les résultats fournis par la modélisation
hydrologique.
La prise en compte des incertitudes dans le processus de modélisation est désormais consi-
dérée par de nombreux auteurs comme essentielle (voir par exemple Ramos et al., 2010).
Cependant, l’analyse et la quantification des incertitudes n’est pas devenue, en pratique, un
exercice routinier.
Il existe plusieurs obstacles à la mise en pratique des méthodes d’analyse des incertitudes en
modélisation hydrologique. Pappenberger et Beven (2006) ont par exemple présenté plusieurs
raisons qui expliqueraient la réticence des modélisateurs et des utilisateurs à s’intéresser au
sujet, concluant que la principale difficulté résidait dans la diversité et le manque de maturité
de méthodes qui se distinguent par leurs philosophies et leurs approches.
En réponse à une discussion sur la pertinence des méthodes d’analyse des incertitudes initiée
par Beven (2006b), Montanari (2007) et Todini (2007) avaient également souligné le manque
de clarté dans la définition du problème, et les difficultés de communication liées à l’absence
d’une terminologie commune. Andréassian et al. (2007) et Hall et al. (2007) avaient quant à
eux insisté sur la nécessité d’évaluer de manière plus rigoureuse la capacité des différentes
méthodes à restituer de manière fiable l’incertitude qui affectent les résultats des modèles,
seul moyen de rendre crédible les estimations communiquées aux utilisateurs.
Introduction générale 5
La diversité des approches proposées dans la littérature ne doit toutefois pas être un obstacle
à leur mise en œuvre, et à leur évaluation. Malgré des divergences de vue sur la manière la
plus appropriée de traiter les incertitudes en modélisation hydrologique, les discussions se
sont le plus souvent concentrées sur des aspects théoriques ou d’ordre philosophique (voir
par exemple les échanges récents entre Beven et al., 2012 et Clark et al., 2012), et l’évaluation
pragmatique des méthodes n’a reçu jusqu’ici qu’une attention limitée.
Le principal objectif de cette thèse est d’explorer les méthodes de quantification de l’in-
certitude prédictive en modélisation hydrologique, de manière à proposer une approche
suffisamment simple et générale pour être applicable à des bassins versants variés, et à divers
modèles, dans des contextes de simulation et de prévision.
Pour ce faire, nous nous intéressons à différentes approches capables de compléter les
résultats déterministes, en fournissant des distributions prédictives, et cherchons à mettre
en évidence, à l’aide d’une approche comparative, leurs forces et leurs faiblesses.
Organisation du mémoire
Le premier chapitre présente quelques rappels concernant les sources d’incertitudes rencon-
trées en modélisation hydrologique, et dresse un panorama général des principales méthodes
d’analyse et de quantification des incertitudes utilisées en hydrologie.
Le troisième chapitre détaille les critères d’évaluation probabiliste qui nous ont permis de
comparer les différentes approches testées au cours de cette thèse.
Le cinquième chapitre présente les différentes méthodes qui sont comparées, dans un
contexte de simulation, au chapitre six.
6 Introduction générale
Le neuvième chapitre est un article qui s’intéresse aux interactions entre l’assimilation de
données et le post-traitement d’un modèle de prévision au sein d’une chaîne de prévision
hydrologique d’ensemble.
Le dernier chapitre résume les travaux effectués au cours de cette thèse, et évoque quelques
perspectives.
1
I NCERTITUDES EN MODÉLISATION
HYDROLOGIQUE
1.1. Introduction 9
1.1 Introduction
1
Ce chapitre a pour objectif de dresser un panorama général des méthodes d’analyse et de
quantification des incertitudes en modélisation hydrologique. De nombreuses méthodes
ont été proposées ces dernières années, et il est difficile d’indiquer dans quelles conditions
une méthode peut être utilisée avec confiance. Les avantages et les limites des différentes
approches restent largement débattues.
Nous présentons dans un premier temps quelques généralités à propos des différentes
sources d’incertitudes rencontrées en modélisation hydrologique. Nous décrivons ensuite un
nombre restreint de méthodes qui nous semblent particulièrement intéressantes. Sans être
exhaustive, cette présentation a pour objectif de donner un aperçu des principales techniques
aujourd’hui disponibles, en discutant de leurs avantages et de leurs limites.
Quant aux sources d’incertitude, les plus fréquemment évoquées sont les incertitudes sur les
données d’entrées et les conditions aux limites, l’incertitude liée à l’estimation des paramètres
et l’incertitude liée à la structure du modèle. Nous présentons brièvement ces différentes
sources d’incertitude.
Les incertitudes sur les données issues de l’observation, qui comprennent à la fois les don-
nées de forçage comme les précipitations et l’évapotranspiration potentielle, et les données
10 Chapitre 1. Incertitudes en modélisation hydrologique
de réponse comme le débit, résultent à la fois des erreurs sur les mesures mais également
du traitement de ces données. Les précipitations sont notamment incertaines en raison de
l’échantillonnage spatial du champ de précipitation, puisqu’un nombre limité de pluvio-
mètres est utilisé pour estimer une lame d’eau moyenne sur un bassin versant. Quant aux
débits, ils sont estimés en utilisant des hauteurs d’eau mesurées, et une courbe de tarage
qui décrit la relation entre hauteur d’eau et débit dans une section. Cette transformation
introduit une incertitude sur l’estimation des débits d’un cours d’eau.
Les incertitudes sur les données peuvent être analysées de manière indépendante par rapport
au processus de modélisation, que ce soit pour les précipitations (Gotzinger et Bardossy,
2008; Moulin et al., 2009; Renard et al., 2011; McMillan et al., 2011), ou les débits (Jalbert
et al., 2011; Le Coz et al., 2014). Au contraire, certaines méthodes tentent de quantifier les
incertitudes sur les données lors du processus d’inférence (Ajami et al., 2007; Vrugt et al.,
2008; Koskela et al., 2012).
Les modèles hydrologiques conceptuels utilisent des paramètres qui permettent d’ajuster
la réponse du modèle à celle de la transformation pluie-débit d’un bassin versant. Ces
paramètres apportent la flexibilité nécessaire pour adapter une structure mathématique fixe
à différents bassins versants. Face aux difficultés rencontrées pour spécifier les valeurs des
paramètres à partir d’autres informations, l’approche couramment adoptée consiste, lorsque
des mesures de débits sont disponibles, à ajuster les paramètres de manière à reproduire au
mieux les débits observés à l’exutoire du bassin versant considéré.
L’incertitude sur les paramètres résulte de ce processus d’estimation, et des choix associés à
l’approche adoptée. Elle s’exprime le plus souvent par l’obtention d’un ensemble de différents
jeux de paramètres, comme nous le verrons par la suite.
L’incertitude liée au modèle traduit la capacité limitée d’un modèle à représenter la dyna-
mique du système modélisé, en raison de sa structure simplifiée par rapport à la complexité
du système modélisé, de sa résolution, ou de son implémentation numérique (voir notam-
ment Kavetski et Fenicia, 2011), même en l’absence d’erreurs dans les données.
1.2. Caractérisation et représentation des incertitudes 11
Certains auteurs considèrent que l’usage des probabilités n’est pas toujours approprié (Brown,
2004; Beven, 2009a), et suggèrent d’adopter d’autres formalismes mathématiques. Parmi ces
théories, Montanari et al. (2009) mentionnent par exemple la théorie des ensembles flous,
la théorie des possibilités et la théorie de l’évidence. Ces théories non probabilistes n’ont
cependant reçu qu’une attention très limitée en modélisation hydrologique.
1. http://hepex.irstea.fr
12 Chapitre 1. Incertitudes en modélisation hydrologique
varier les hypothèses de modélisation. Différents scénarios sont considérés comme autant
d’hypothèses plausibles, par exemple sur les variables climatiques (scénarios de changement
climatique pour l’étude d’impact à long terme), ou sur les modèles eux-mêmes (de manière à
quantifier l’incertitude liée à l’utilisation d’un unique modèle forcément imparfait). Une des
difficultés liées à cette approche réside dans la manière d’interpréter et communiquer les
résultats obtenus.
Dans un contexte général de modélisation environnementale, Matott et al. (2009) ont proposé
de classifier 65 méthodes dans sept catégories :
– Les méthodes d’analyse des données : pour évaluer la précision des données issues de
l’observation ;
– Les méthodes d’analyse de l’identifiabilité des modèles : pour mettre en évidence l’inadé-
quation des données et suggérer des améliorations de la structure d’un modèle ;
– Les méthodes d’estimation des paramètres : pour quantifier l’incertitude sur les para-
mètres d’un modèle ;
– Les méthodes d’analyse des incertitudes : pour quantifier l’incertitude sur les sorties du
modèle en propageant les incertitudes associées à plusieurs sources d’incertitude ;
– Les méthodes d’analyse de sensibilité : pour examiner dans quelle mesure les variations
sur les entrées affectent les sorties d’un modèle ;
les méthodes qui considèrent séparément l’incertitude sur les données, l’incertitude sur les
paramètres, ou l’incertitude liée à la structure d’un modèle. 1
L’objectif de la présentation de Beven (2009b) est de fournir une introduction générale au
traitement de l’incertitude en modélisation environnementale. Beven (2009b) distingue
différentes applications pratiques rencontrées en modélisation hydrologique :
– les situations où les données ne sont pas disponibles, comme pour les bassins non
jaugés ou les projections de changement climatique ;
– le cas de la simulation, où des données permettent de réaliser une inférence sur certains
paramètres ;
– et celui de la prévision à court et moyen terme, qui se caractérise à la fois par la prévi-
sion des données de forçage à court et moyen terme, et par l’utilisation de stratégies
d’assimilation de données.
– la méthode GLUE ;
– l’approche multi-modèles ;
La méthode GLUE (Generalised Likelihood Uncertainty Estimation) a été introduite par Beven
et Binley (1992) comme une méthode générale de calage et d’analyse des incertitudes. La
14 Chapitre 1. Incertitudes en modélisation hydrologique
méthode s’inspire de l’analyse de sensibilité de Hornberger et Spear (1981). Elle a été proposée
à la suite d’expériences de modélisation qui révélaient que différents jeux de paramètres
pouvaient représenter de manière acceptable le comportement d’un système complexe.
Le parti pris des auteurs est de renoncer à la recherche d’un unique jeu de paramètres, et
d’accepter et assumer la multiplicité des jeux de paramètres.
Dans le cadre très général proposé par la méthode GLUE, la performance des différents jeux
de paramètres est évaluée selon un ou plusieurs critères choisis pour refléter le degré de
crédibilité accordé à chacun des jeux de paramètres (Smith et al., 2008). Une valeur seuil
doit également être choisie pour distinguer les jeux de paramètres acceptables des jeux de
paramètres non acceptables au regard du critère d’efficacité choisi. Enfin, les débits simulés
à partir des différents jeux de paramètres retenus sont utilisés pour calculer les intervalles
prédictifs. Il est courant de pondérer les simulations qui constituent l’ensemble final selon le
critère de performance, les simulations les plus performantes obtenant plus de poids que les
simulations les moins performantes.
L’importance des choix subjectifs associés à l’utilisation de la méthode GLUE a été discutée
entre autres par Freer et al. (1996), Beven et Freer (2001) et Beven (2006a). Le choix de la
fonction objectif et le choix de la valeur seuil influencent la sélection des jeux de paramètres
considérés comme acceptables et donc les intervalles prédictifs obtenus. La subjectivité de
ces choix a été vivement critiquée par certains auteurs, comme nous le verrons plus loin. La
littérature abonde néanmoins d’applications de la méthode GLUE en hydrologie et dans de
nombreuses autres sciences de l’environnement. La simplicité et la flexibilité de la méthode
GLUE sont vraisemblablement les principales raisons de cette large dissémination.
Évaluations et critiques
Montanari (2005), Xiong et al. (2009) et Li et al. (2010) ont présenté des résultats qui semblent
confirmer l’intuition selon laquelle la variabilité de l’ensemble prédictif augmente lorsque
la valeur seuil diminue. Bien que la méthode repose sur une estimation de l’incertitude sur
les paramètres plus importante que celle proposée par les méthodes d’inférence statistique,
plusieurs travaux, dont ceux de Montanari (2005), Berthier (2005), et Andréassian et al. (2007),
ont souligné que la méthode a tendance à sous-estimer l’incertitude prédictive totale.
1.3. Présentation de différentes méthodes d’analyse des incertitudes en hydrologie 15
D’un point de vue plus théorique, Mantovan et Todini (2006) ont critiqué l’incohérence de
la méthode par rapport à l’approche bayésienne, en raison de l’utilisation de critères de 1
performance qui contredisent la cohérence du processus d’assimilation de l’information
contenue dans les observations. Stedinger et al. (2008) illustrent quant à eux l’incapacité
de la méthode GLUE à restituer les intervalles de confiance dans un cas simple de régres-
sion linéaire. Ils mettent en évidence le manque de sensibilité de la méthode à la qualité
intrinsèque du modèle utilisé. Comme Mantovan et al. (2007), les auteurs rappellent que la
méthode GLUE ignore le modèle d’erreur et ne peut proposer qu’une quantification arbi-
traire des incertitudes sur la variable simulée. Ils considèrent donc que le cadre théorique de
GLUE, notamment promu par le manifeste de Beven (2006a) en faveur du concept d’equifi-
nalité, ne permet pas d’apporter de réponses satisfaisantes au traitement des incertitudes,
et recommandent donc la plus grande prudence dans l’utilisation des résultats obtenus par
l’application de la méthode GLUE.
Beven (2006a) a introduit une extension du concept d’acceptabilité en proposant une nou-
velle approche pour identifier les modèles considérés comme acceptables. Il propose dans
cette nouvelle version de GLUE de définir les limites d’acceptabilité en spécifiant a priori
une certaine marge d’erreur associée aux observations. Seuls les paramètres qui permettent
d’obtenir des débits simulés se situant à l’intérieur de cette enveloppe définie a priori sont
considérés comme acceptables. Les pondérations utilisées pour créer les intervalles prédictifs
sont définies à l’aide de scores attribués à chaque jeux de paramètres considérés comme
acceptables, ces scores pouvant par exemple dépendre de la position de la valeur simulée par
rapport à l’intervalle défini autour de la valeur observée. Cette approche a été mise en œuvre
dans plusieurs études (Blazkova et Beven, 2009; Liu et al., 2009; Krueger et al., 2010), mais n’a
pas pour l’instant suscité un engouement comparable à la version originale de GLUE, qui
reste majoritairement utilisée dans des articles récents.
Par ailleurs, des méthodes qui s’appuient sur des ensembles contraints de jeux de paramètres
ont été proposées dans le cadre de la modélisation des bassins non jaugés (Bardossy, 2007;
Yadav et al., 2007; Zhang et al., 2008; Winsemius et al., 2009; Bulygina et al., 2009). Les
jeux de paramètres considérés comme acceptables sont ceux qui reproduisent certaines
caractéristiques de la réponse hydrologique d’un bassin versant, ces caractéristiques ou
« signatures » pouvant être estimées à l’aide de techniques de régionalisation. Wagener et
Montanari (2011) ont récemment présenté une synthèse de ces approches qui ont pour
objectif de réduire les incertitudes pour les bassins non jaugés.
16 Chapitre 1. Incertitudes en modélisation hydrologique
L’inférence bayésienne s’inscrit dans une démarche qui semble particulièrement bien adap-
tée au traitement des incertitudes. Selon le paradigme bayésien, toutes les inconnues d’un
problème sont décrites par des densités de probabilité. La densité de probabilité jointe des
paramètres du modèle statistique considéré s’obtient par la formule de Bayes qui permet une
mise à jour d’un état de connaissance, formalisé par des distributions a priori, à la lumière de
nouvelles informations – les données issues de l’observation. L’estimation des paramètres
est conditionnelle aux observations et aux hypothèses faites sur le mécanisme générateur
des données. Les densités de probabilités d’autres variables d’intérêt, notamment la densité
prédictive des débits, s’obtiennent par propagation des différentes sources d’incertitude
considérées.
Les travaux les plus récents se sont principalement concentrés sur deux aspects du problème
d’inférence :
premières approches qui ont cherché à spécifier une fonction de vraisemblance adaptée au
calage des modèles hydrologiques remontent au début des années 80, lorsque l’utilisation de 1
la méthode du maximum de vraisemblance a été proposée par Sorooshian et Dracup (1980).
Il s’agissait alors de mieux respecter les hypothèses d’indépendance et d’homoscédasticité
des erreurs résiduelles, grâce à des transformations sur les variables, et à l’utilisation de
modèles auto-régressifs.
Au contraire de l’approche globale qui vient d’être décrite, d’autres recherches se sont concen-
trées sur la décomposition de l’incertitude totale en différentes sources d’incertitude. La
méthode BATEA, Bayesian Total Error Analysis (Kuczera et al., 2006; Kavetski et al., 2006b,a;
Thyer et al., 2009; Renard et al., 2010), a par exemple été conçue pour caractériser, quantifier
et propager différentes sources d’incertitude (données, paramètres et structure du modèle),
de manière à diagnostiquer les principales causes d’erreurs, révéler les faiblesses d’un modèle,
et estimer l’incertitude sur les paramètres. Dans cette approche, la fonction de vraisemblance
utilisée lors du processus d’inférence ne s’exprime plus par un modèle probabiliste de l’écart
entre les valeurs simulées par le modèle hydrologique et les valeurs issues de l’observation,
mais par un modèle probabiliste plus complexe obtenu par l’utilisation de probabilités condi-
tionnelles. Des travaux similaires ont été présentés par Huard et Mailhot (2006), Huard et
Mailhot (2008), Ajami et al. (2007) et Vrugt et al. (2008).
La séparation des sources d’incertitude peut également être réalisée dans un cadre d’assimi-
lation de données. Salamon et Feyen (2010) utilisent par exemple une méthode de Monte
Carlo séquentielle connue sous le nom de filtre à particules pour mettre à jour les états
d’un modèle hydrologique distribué. Les méthodes d’assimilation de données permettent
également d’estimer de manière jointe les incertitudes sur les états et sur les paramètres d’un
modèle hydrologique (Moradkhani et al., 2005, 2012; Vrugt et al., 2013).
18 Chapitre 1. Incertitudes en modélisation hydrologique
Difficultés et critiques
Malgré le développement d’algorithmes de plus en plus performants (par exemple les mé-
thodes présentées par Vrugt et al., 2003a, 2008), l’échantillonnage de la densité de probabilité
jointe qui décrit l’incertitude sur les paramètres du modèle probabiliste – à la fois les para-
mètres du modèle hydrologique et les paramètres qui apparaissent dans les modèles d’erreurs
– constitue toujours une difficulté lorsque le problème devient complexe, par exemple lorsque
le nombre d’inconnues augmente, ou quand une approche hiérarchique est adoptée (Kuczera
et al., 2010).
Mais au delà des difficultés numériques, les approches qui visent à séparer les contributions
des différentes erreurs sont confrontées aux difficultés suivantes :
– Le choix des modèles statistiques d’erreurs, parfois subjectif, influence l’inférence des
paramètres, et l’incertitude prédictive (voir parmi d’autres, Weerts et El Serafy, 2006;
Vrugt et al., 2008; Thyer et al., 2009; Salamon et Feyen, 2010). ;
– La spécification d’un modèle d’erreur capable d’exprimer les erreurs dues à l’imperfec-
tion du modèle semble extrêmement délicate (Beven, 2006a), et aucune approche ne
semble pour l’instant réellement satisfaisante, malgré les tentatives de Kuczera et al.
(2006), Reichert et Mieleitner (2009), ou Renard et al. (2010) ;
– Des compensations, par exemple une correction des précipitations qui compense un
problème de structure, peuvent conduire à une inférence incorrecte ou mal posée,
comme l’ont montré les travaux de Renard et al. (2010) et Kuczera et al. (2010). Renard
et al. (2011) ont montré que seule une meilleure estimation indépendante de l’incer-
titude sur les données peut permettre de dissocier les contributions de différentes
sources d’incertitude.
des résultats obtenus par plusieurs modèles, et la prise en compte des incertitudes liées à
l’imperfection des modèles (e.g., Georgakakos et al., 2004; Velazquez et al., 2010). 1
Présentation de quelques méthodes
Plusieurs méthodes on été proposées dans la littérature pour combiner les résultats obtenus
par un ensemble de modèles. Elles diffèrent dans la manière dont sont pondérés les résultats
de chaque modèle (voir par exemple les huit méthodes testées par Diks et Vrugt, 2010), les
poids pouvant être fixes ou variables au cours du temps (Marshall et al., 2007; Hsu et al., 2009).
La plupart partagent le fait d’attribuer plus d’importance aux modèles les plus performants.
La méthode BMA, Bayesian Model Averaging (Hoeting et al., 1999), traite les incertitudes
liées aux structures des modèles à l’aide d’une combinaison probabiliste. Une densité de
probabilité est construite à l’aide d’un modèle de mélange composé des prévisions de plu-
sieurs modèles. Des applications de la méthode BMA en modélisation hydrologique sont par
exemple présentées par Duan et al. (2007) et Ajami et al. (2007).
Limites de l’approche
Si les approches multi-modèles semblent capables de refléter en partie les incertitudes liées
aux imperfections des modèles, la quantification d’une incertitude prédictive totale à partir
de ces approches est loin d’être évidente. La variabilité apportée par l’utilisation de différents
modèles ne garantit pas une quantification fiable de l’incertitude totale. Velazquez et al.
(2010) suggèrent par exemple qu’un ensemble de dix-sept modèles hydrologiques ne semble
pas suffisant pour obtenir une quantification fiable des incertitudes pour la plupart des 1061
bassins versants français utilisés dans leur étude. Les auteurs évoquent la nécessité d’un
post-traitement de l’ensemble constitué par les simulations des différents modèles pour une
utilisation opérationnelle.
Elles adoptent au contraire une approche pragmatique, en se concentrant sur l’analyse des
propriétés statistiques des erreurs résiduelles.
L’idée principale est que l’incertitude globale se manifeste par des erreurs qui traduisent
l’écart entre les valeurs simulées d’un modèle déterministe et les valeurs observées. Ces séries
temporelles d’erreurs ont généralement une structure qui diffère de celle d’un signal aléatoire,
et contiennent donc une information qui peut être exploitée pour quantifier l’incertitude
prédictive de manière agrégée.
Les méthodes proposées dans la littérature se distinguent principalement par les techniques
statistiques qu’elles utilisent. Le choix des variables explicatives, l’utilisation de transfor-
mations de variables, et le type de régression utilisé sont les principaux éléments qui les
caractérisent.
Nous présenterons plus en détails les méthodes que nous avons utilisés dans cette thèse
au chapitre 5. Nous mentionnons ici d’autres méthodes proposées dans des contextes de
simulation et de prévision.
La méthode UNEEC, Uncertainty Estimation based on local Errors and Clustering, décrite par
Solomatine et Shrestha (2009) dans un contexte de simulation hydrologique, propose d’utili-
ser les techniques d’apprentissage automatique pour quantifier la distribution des erreurs
d’un modèle. La distribution des erreurs empiriques est conditionnée par les données d’en-
trée et les variables d’état du modèle. Une classification des données est au préalable réalisée
pour créer des groupes de données ayant des caractéristiques hydrologiques semblables.
Les méthodes de post-traitement s’appuient sur une analyse et une description des erreurs
résiduelles obtenues par un modèle hydrologique sur une période donnée. Elles caracté-
1.4. Synthèse 21
risent de manière globale les erreurs qui résultent d’une combinaison de plusieurs sources
d’incertitude, et ne permettent donc pas de séparer la contribution des différentes sources 1
d’incertitude.
1.4 Synthèse
Les différentes méthodes proposées ces dernières années peuvent être caractérisées selon :
Il n’existe pas de consensus sur les méthodes les plus appropriées pour aborder la théma-
tique des incertitudes en modélisation hydrologique, et aucune méthode ne peut prétendre
répondre de manière adéquate aux différentes attentes exprimées par les utilisateurs ou les
gestionnaires.
2
D ONNÉES ET MODÈLES PLUIE - DÉBIT
2.1. Introduction 25
2.1 Introduction
Nous présentons dans ce chapitre les données et les modèles hydrologiques utilisés au cours
de cette thèse.
La constitution d’un large échantillon de bassins versants s’inscrit dans une démarche scien- 2
tifique adoptée par l’équipe Hydrologie d’Irstea Antony au sein de laquelle ces travaux ont
été réalisés. La multiplication des expériences permet en effet d’évaluer la robustesse et la
généralité des méthodes de quantification de l’incertitude prédictive testées, conditions qui
nous semblent nécessaires pour des applications opérationnelles, et qui correspondent à nos
objectifs de recherche.
Nous avons travaillé au pas de temps journalier en simulation, et au pas de temps horaire
en prévision. Cette distinction résulte de considérations avant tout pragmatiques : le choix
du pas de temps journalier en simulation s’est imposé pour des raisons de temps de calcul,
tandis que le choix du pas de temps horaire reflète la nécessité d’utiliser un pas de temps
permettant de bien appréhender la dynamique des crues.
2.2 Données
La base de données hydro-climatiques au pas de temps journalier utilisée dans cette thèse
a été constituée au cours de l’année 2011 au sein de l’équipe Hydrologie d’Irstea Antony,
en collaboration avec le SCHAPI et Météo-France. Cette base de données comprend, pour
3701 bassins versants français :
La disponibilité des données de débits est inégale suivant les bassins versants, tandis que les
données météorologiques SAFRAN couvrent la période 1958-2010 de manière continue (sans
lacune).
26 Chapitre 2. Données et modèles pluie-débit
La base de données utilisée au pas de temps horaire a, quant à elle, été constituée par Florent
Lobligeois, dans le cadre de sa thèse à Irstea. Nous rappelons ici brièvement les différents
traitements de données effectués.
Les données de débits horaires ont été générées à partir des données au pas de temps variable
issues de la banque HYDRO. La méthode utilisée suit celle présentée par Le Moine (2008). En
particulier, le calcul des débits moyens horaires, calculés par intégration sur chaque heure,
s’appuie sur une interpolation linéaire des données au pas de temps variable.
Les données de précipitation proviennent d’une réanalyse des lames d’eau combinant images
radar, pluviographes et pluviomètres, récemment proposée par Météo-France. Cette réana-
lyse, établie sur 10 ans (1997–2006), est disponible au pas de temps horaire et à la résolution
kilométrique sur l’ensemble du territoire métropolitain (Tabary et al., 2012).
Enfin, les données d’évapotranspiration potentielle ont été obtenues par désagrégation des
données journalières SAFRAN. Les valeurs horaires suivent une parabole entre 06h00 et
19h00, et sont nulles le reste du temps.
La sélection des bassins versants décrite ci-dessous a été effectuée en utilisant la base de
données au pas de temps journalier. Nous avons cependant gardé à l’esprit l’objectif de
travailler au pas de temps horaire, en nous assurant de la disponibilité des données sur
chacune des périodes 1997–2001 et 2002–2006.
Pré-sélection
Dans un premier temps, une pré-sélection sur les 3701 stations disponibles a été effectuée :
– Nous avons conservé les bassins dont la surface est supérieure à 5 km2 et inférieure à
50 000 km2 .
– Nous avons exclu les bassins versants qui, d’après les méta-données de la banque
HYDRO, sont répertoriés comme fortement influencés ou dont la finalité n’est ni l’hy-
drométrie générale, ni l’alerte de crue ou le suivi d’étiage.
– Nous avons utilisé une estimation des volumes stockés par des barrages situés à l’amont
des stations pour exclure les stations potentiellement influencées, en choisissant un
2.2. Données 27
Nous avons choisi de ne pas conserver l’ensemble de ces bassins versants et de procéder à
une sélection d’un peu plus de 200 bassins versants. Il s’agissait avant tout de limiter les temps
de calcul, puisque certaines des méthodes utilisées pour la quantification de l’incertitude
prédictive requièrent de réaliser de très nombreuses simulations. Il nous a semblé intéressant
de profiter de cette nécessaire étape de sélection pour favoriser la diversité hydrologique au
sein de l’ensemble de bassins versants retenus, en suivant la démarche adoptée dans la thèse
de Berthet (2010).
Nous avons utilisé les mêmes indices que Berthet (2010) pour décrire les régimes hydrolo-
giques et pluvieux. Six indices caractérisent le régime d’écoulement, les étiages, les crues, et
le débit de base, tandis que quatre indices sont utilisés pour caractériser les précipitations.
Les dix indices sont présentés dans la Table 2.1.
Nous nous sommes appuyés sur ces indices pour réaliser une classification hiérarchique des
583 bassins versants. Les méthodes de classification hiérarchique permettent de constituer
des groupes d’éléments homogènes à partir d’une matrice de similarité. Pour chaque paire
de bassins versants, la similarité entre les deux bassins a été calculée selon la distance
euclidienne entre les dix indices centrés et réduits de chacun des deux bassins. La méthode de
28 Chapitre 2. Données et modèles pluie-débit
Indice Description
Écoulement annuel moyen Lame d’eau, exprimée en mm, qui correspond au débit
annuel moyen
Irrégularité des écoulements Différence entre les moyennes des débits mensuels les
plus forts et les plus faibles sélectionnés chaque année,
divisée par le débit annuel moyen
Débit spécifique d’étiage Médiane du dixième débit le plus faible de chaque an-
née, exprimée en L s−1 km−2
Étiage modulaire Débit spécifique d’étiage normalisé par un dixième de
l’écoulement annuel moyen
Indice d’écoulement de base Rapport entre le volume de base et le volume d’écoule-
ment total
Coefficient de crue Médiane des plus forts débits journaliers annuels, divi-
sée par la surface du bassin versant élevée à la puissance
0.8
Précipitation annuelle moyenne Lame d’eau, exprimée en mm, précipitée en moyenne
pendant une année
Irrégularité des pluies Différence entre les moyennes des précipitations men-
suelles les plus fortes et les plus faibles sélectionnés
chaque année, divisée par la précipitation annuelle
moyenne
Intensité des pluies Médiane des plus fortes précipitations journalières an-
nuelles
Fraction de jours non pluvieux
TABLE 2.1 – Description des indices utilisés pour la classification hiérarchique des bassins
versants.
2.2. Données 29
!
!
! !
!
!
!
!
!
! ! !!
! !
! ! !
! ! !
!
2
! ! !
!! !
! ! ! ! !!!
! ! ! ! ! !! ! !
! ! ! ! ! ! !!
! ! !
! !
!
! ! ! ! ! ! !
! !! ! ! !
! !! ! ! !
!! ! ! ! !!
! !
! ! !
! ! !
! !
! !
! ! !
! ! ! ! !!
! ! !
!
! ! !
! ! ! !
! !
! !
! !
! ! !
! ! ! ! !
! ! !
! ! !
! ! ! !
! ! ! !
!
! ! !
! !
! ! ! !
! !
! !
! ! !
! !! ! !
!
! !
!! ! !! ! !!
! ! ! !!
! !
! ! ! ! !
±
! ! ! !! !
!
! !
!
Kilomètres
100 50 0 100 200 300
F IGURE 2.1 – Contours des 202 bassins versants sélectionnés, en bleu. Les stations situées à
l’exutoire des bassins versants sont représentées par des points rouges.
classification développée par Bien et Tibshirani (2011) nous a semblé intéressante, puisqu’elle
permet de désigner un élément représentatif au sein de chaque groupe constitué lors de
la classification hiérarchique. Nous avons ainsi sélectionné 100 bassins versants issus du
dendrogramme – l’arborescence obtenue par la classification hiérarchique –, auxquels nous
avons ajouté les bassins versants les plus éloignés des bassins versants représentatifs.
Crues (SPC). A l’issue de cette dernière étape, 202 bassins versants ont été sélectionnés.
Les contours des 202 bassins versants qui constituent l’échantillon final sont tracés sur la
Figure 2.1. Cet échantillon comprend des bassins de taille variée, répartis sur l’ensemble du
territoire métropolitain, à l’exception des zones montagneuses. Une liste des 202 bassins est
présentée dans l’annexe A.1.
La Figure 2.2 présente les 202 bassins versants sélectionnés dans l’espace adimensionnel
Q/P = f (P/ETP), où Q, P et ETP désignent respectivement les moyennes annuelles des
débits, des précipitations et de l’évapotranspiration potentielle ; Q/P est le coefficient de
ruissellement et P/ETP est l’indice d’aridité. Ce mode de présentation permet de visualiser les
principales caractéristiques du bilan hydrologique à l’échelle des bassins versants (Le Moine
et al., 2007). Les deux zones grisées correspondent à des bilans qui ne sont pas équilibrés :
– Lorsque Q/P est supérieur à 1, la lame d’eau écoulée à l’exutoire du bassin versant
est supérieure à la lame d’eau précipitée. Cette situation suggère que des apports
souterrains existent ; c’est le cas des bassins versants pour lesquels une influence
karstique est connue.
– Lorsque Q/P est inférieur à la limite 1 − ETP/P, la lame d’eau écoulée est inférieure à la
différence entre la lame d’eau précipitée et l’évapotranspiration potentielle. Comme
l’évapotranspiration potentielle correspond, par définition, à la lame d’eau maximale
qui peut être évaporée, cette situation suggère que des pertes souterraines existent.
La Figure 2.2 montre que les bilans hydrologiques des 202 bassins versants sélectionnés
sont variés et représentatifs de la diversité rencontrée sur le territoire métropolitain. Seuls
quelques bassins sont clairement affectés par des apports ou des pertes souterraines. C’est le
cas de La Laine à Soulaines-Dhuys (H1333010), et dans une moindre mesure de la Cuisance à
Mesnay (U2655030), pour lesquelles une alimentation karstique est avérée (Le Moine, 2008),
tandis que le Rival à Beaufort (V3424310) présente un bilan marqué par d’importantes pertes
par infiltration au niveau de la plaine de la Bièvre.
2.0
1.5
2
Q/P
1.0
0.5
0.0
0.0 0.5 1.0 1.5 2.0 2.5 3.0 3.5 4.0
P / ETP
F IGURE 2.2 – Représentation du bilan hydrologique des 202 bassins versants sélectionnés, en
rouge, et des 3701 bassins versants de la base de données, en noir.
– Les bassins qui reçoivent le plus de précipitations sont situés sur la façade Atlantique,
en Alsace et à l’amont du bassin du Rhône, ainsi que dans la région cévenole.
– La carte des écoulements présente une forte similarité avec la carte des précipita-
tions ; c’est également le cas pour les indices qui caractérisent l’intensité des pluies et
l’intensité des crues.
– Les bassins aux plus forts débits de base sont principalement situés au Nord de la
France, en Bretagne, en Alsace, et dans le bassin sédimentaire parisien.
– Les bassins les plus élevés sont ceux situés à proximité des principaux reliefs monta-
gneux, des Vosges aux Pyrénées en passant par le Massif Central, sans oublier les Alpes
de Haute-Provence.
L’échantillon de bassins versants sélectionnés est varié et représentatif des conditions hydro-
météorologiques rencontrées en France métropolitaine. Il nous semble donc particulière-
ment bien adapté aux objectifs de robustesse et de généralité que nous nous fixons dans cette
thèse.
Différents modèles pluie-débit ont été utilisés au cours de cette thèse. Les modèles déve-
loppés au sein de l’équipe d’hydrologie d’Antony ont été privilégiés au regard de l’expertise
32 Chapitre 2. Données et modèles pluie-débit
Fréquence cumulée
Fréquence cumulée
●● ●● ●
●●
●●
● ●
●●
●●
● ●
●●
0.75 ●
●
●
●
● 0.75 ●●
● 0.75 ●●
●
●●
●● ●
● ●
●
●
●
● ●●
●
● ●●
●
●●
●
●●
● ●
●
● ●●
●
●
●
● ●
●
● ●
●
●
●
●
● ● ●
●
●
●
● ●
●
● ●
●
●
●● ●
●● ●
●●
●
0.50 ●
● 0.50 ●●
● 0.50 ●●●
●● ●
● ●●
●
●
●
● ●●
● ●
●
●● ●
●
● ●
●
●
●
●● ●● ●●
●
●
● ●
●
● ●●
●
●
●●
● ●
● ●
●
●● ●
●
● ●
●●
0.25 ●●
● 0.25 ●
●
● 0.25 ●●
●
●
●
● ●
● ●
●
● ●
● ●
●
●
●
●●
● ●● ●●
●● ●
●
● ●
●
●
●
●
●
● ●
● ●●
●
●● ●
● ●
●
●●
● ●●
● ●●
0.00 ●●
●
●● 0.00 ●●●
●● 0.00 ●
●
● ●●
1000 1500 2000 0 500 1000 1500 600 700 800 900
Précipitation annuelle (mm) Ecoulement annuel (mm) Evapotranspiration potentielle annuelle (mm)
Fréquence cumulée
●
●
● ●●●
● ●
●
●●
●
● ●●
● ●●
●
0.75 ●
●
●
● 0.75 ●●
● 0.75 ●
●●
●
●
●
● ●● ●
●
●
●● ●●
●
● ●
●
●
●
●
● ●● ●
●
●
●● ●●
● ●
●●
●
●
● ●
● ●
●
●
●● ● ●
●
●
● ●● ●●
0.50 ●● 0.50 ●
● 0.50 ●
●●
●
●
● ●
●● ●
●●
●
● ●● ●●
●
●
●● ●
● ●●
●
●
● ●● ●●
●
●
●● ●
●
● ●
●
●● ● ●
●●
●
●
● ●●
● ●
●
●
●●
●
● 0.25 ●
● ●●
0.25 ●
● ● 0.25 ●
●●
●
●
● ●
● ●
●
●
●●
● ●
● ●●
●
●●
● ●
●
● ●
●●
●
●● ●● ●
●●●●
●
●● ●
● ●
●●
●●●● ● ●
●
●●●● ● ●● ●
●●
0.00 ●●● ● ● 0.00 ●
●
0.00 ●●●● ●
●
20 30 40 50 60 70 0 3 6 9 40 60 80 100
Fraction de jours non pluvieux (%) Débit spécifique d'étiage (ls−1km−2) Indice d'écoulement de base (%)
Fréquence cumulée
Fréquence cumulée
● ●
Fréquence cumulée
●
●
● ●●
● ●
●
●
●
●●
● ●● ●
●
0.75 ●
● 0.75 ●●
● 0.75 ●
●
●
●
●
● ●●
● ●
●
●
●
●
● ●●
● ●
●
●
●● ●
● ●
●
●●
● ●
● ●●
● ●
●
● ●
●
●
●
● ●● ●
●●
●
● ●
● ●
●
0.50 ●
● 0.50 ●
●
● 0.50 ●
●
●
●
● ●● ●
●
●● ●
● ●
●
●
● ●● ●
●
●
●●
● ●
● ●
●
●
●
●
● ● ●
●
●
● ●
● ●
●
●
● ●
● ●
●
●
●
● 0.25 ●
● 0.25 ●
●
0.25 ●
●
●
● ● ●
●
●
● ● ●
●
●
●
●
●
● ●●●●
●●
●● ●
●
● ●
●●
●
● ●
● ●●
● ●
●
●
●
● ●
●
●
● ●● ●
●
●
●
●
●
●
● 0.00
●
●
●
● 0.00 ●● ● ●
0.00 ●
Intensité des pluies (mm) Coefficient de crue (ls−1km−2) Densité de drainage (km−2)
●● ● ●
Fréquence cumulée
Fréquence cumulée
●
●● ●● ●
●●
●
●
●● ●
●
● ●
●●
0.75 ●
● 0.75 ●
● 0.75 ●
●
●
● ●
●● ●
●●
● ● ●
●
●
●
●
●
● ●●
● ●
●
●
●● ●
● ●
●
●
● ● ●
●
●
●●
● ●●
● ●
●
●●
● ●
● ●
0.50 ●
●
● 0.50 ●●
● 0.50 ●●
●
●
● ●
●
● ●
● ● ●●
●
●
● ●
●
● ●
●●
● ●
●● ●
●●
●
● ●
● ●
●●
●
●
●● ●● ●
●
●
●
● ●●
● ●
●
● ●
● 0.25 ●●
●
0.25 ●
● 0.25 ●
●
●● ●●
●● ●
●
● ●
●●
●
● ●
● ●
●
●
●
● ●
●● ●
●●
●
● ●●● ●
●●
●
●●
● ●
●● ●
●
●●
●●
●
● ●●●●● ●●
●●
●●
●
●● ●● ●● ●●●●
0.00 ●
●
● 0.00 ●● ●●● 0.00 ●
Irrégularité des pluies (%) Irrégularité des écoulements (%) Surface (km2)
Fréquence cumulée
● ● ●
●●●●
● ●●
●
●●
●●
●
●
●●
0.75 ●
●
● 0.75 ●
●
●
● 0.75 ●
●
●
●●
●●
●
● ●
● ●●●
●
●
●● ●
●
● ●
●●
●
●●
● ●
●
● ●●
●
● ●● ●●●
●
●
●● ●
● ●●
●
●
●
● ●● ●
●●
●
● ●
● ●
●●
0.50 ●
● 0.50 ●
● 0.50 ●
●●
●
●● ●
●
● ●
●
●●
●
● ●
● ●
●
●
●
●
●● ●
● ●●●
●● ●● ●
●●
●
●
● ●
● ●●
●● ●
● ●●
●
●●
● ●● ●
●
●●
●
●
● ●
●
● ●●
0.25 ●
●
●
● 0.25 ●● 0.25 ●
●
●
● ●
● ●●
●
●
●● ●● ●
●
●● ●
● ●●
●
●
● ●
●
● ●
●
●●
● ● ●●
●
● ●
●
● ●●
●
●
●● ●
● ●
●
●
●●● ●
● ●●●● ●
●
●
0.00 ● 0.00 0.00
F IGURE 2.3 – Distribution de quelques caractéristiques des 202 bassins versants sélectionnés.
2.3. Modèles pluie-débit 33
(mm) (mm)
(mm)
1000 500
700
1400 1000
2
800
1800 1500
Fraction de jours non pluvieux Débit spécifique d'étiage Indice d'écoulement de base
(%)
(ls−1km−2) (%)
30
3 40
40
6 60
50
9 80
60
(ls−1km−2)
(km−2)
(mm) 500
0.1
50 1000
1.0
100 1500
10.0
2000
(km2)
(%)
(%) 10
200
200 50
400
250 500
600
5000
(%)
(%) (m)
100
40 250
150
80 500
200
120 750
250
160 1000
300
F IGURE 2.4 – Répartition géographique de quelques caractéristiques des 202 bassins versants
sélectionnés.
34 Chapitre 2. Données et modèles pluie-débit
acquise lors de recherches antérieures. Avant de présenter les modèles GR4J et GRP, nous
rappelons brièvement ce qui distingue le contexte de simulation de celui de prévision.
Dans un contexte de simulation, les états du modèle évoluent au cours du temps de manière
continue, en fonction des forçages disponibles à l’instant t . En prévision, les derniers débits
observés avant l’instant de prévision t 0 peuvent être utilisés par une méthode d’assimilation
de données pour ajuster certains états du modèle. A partir de ce point de départ qui définit
les conditions initiales, le modèle utilise les forçages disponibles sur une plage de prévision
pour produire des débits jusqu’à l’échéance de prévision.
SIMULATION PREVISION
t Temps t0 Temps
L
Observé Observé
Pluie Pluie Prévu
Débit Débit
Modèle ( ,s) Modèle ( ,s)
: paramètres
s : variables internes
Simulé Prévu
Temps L Temps
Présentation
Le modèle GR4J (modèle du Génie Rural à 4 paramètres Journalier) est utilisé pour simuler
les débits à l’exutoire des bassins versants. Ce modèle pluie-débit global à réservoirs est issu 2
des travaux initiés depuis plus d’une vingtaine d’années à Irstea (anciennement Cemagref).
Il a été développé selon une approche empirique et comparative, dans le but d’obtenir un
modèle performant, robuste et parcimonieux, pour représenter la transformation pluie-débit.
La formulation mathématique de ce modèle qui ne comporte que quatre paramètres à caler
(voir Table 2.2) est décrite en détails par Perrin et al. (2003) et présentée dans l’annexe A.2.
E P
Interception
En Pn
Es Ps Pn − Ps
Réservoirgdeg
X1
production S
Perc Pr
0.9 0.1
HU1 HU2
X4 2 · X4
Q9 Q1
Réservoirgdeg
X3
routage R F(X2) F(X2)
Qr Qd
F IGURE 2.6 – Schéma de la structure du modèle GR4J (voir l’annexe A.2 pour la signification
des variables intermédiaires).
Un schéma de la structure du modèle GR4J est présenté sur la Figure 2.6. Les réservoirs de
production et de routage, associés à deux hydrogrammes unitaires et une fonction d’échange
36 Chapitre 2. Données et modèles pluie-débit
L’initialisation des états des deux réservoirs du modèle GR4J suit la stratégie présentée par Le
Moine (2008), et onze années de mise en route sont utilisées avant la période de simulation.
La procédure d’optimisation utilisée pour estimer les paramètres du modèle GR4J comprend
deux étapes. Dans un premier temps, différents jeux de paramètres identifiés lors des travaux
de Perrin et al. (2008) sont testés, et le meilleur jeu de paramètres est retenu. Cette étape
de pré-filtrage fournit un point de départ à un algorithme de recherche locale, la méthode
« pas-à-pas », qui conduit à l’identification d’un jeu de paramètres optimal. Cette procédure
s’est révélée efficace et robuste pour différents modèles pluie-débit conceptuels, dont le
modèle GR4J (Mathevet, 2005; Perrin et al., 2008).
L’algorithme de calage utilise des valeurs transformées des paramètres de manière à faciliter
la convergence de la méthode de recherche locale. Les correspondances entre les valeurs
réelles X et transformées XT sont les suivantes :
XT1 = log(X1)/1.1
XT2 = argsh(X2)
XT3 = log(X3)
XT4 = 9.99 + 19.98 · (X4 − 20)/19.5
2.3. Modèles pluie-débit 37
Présentation
Le modèle GRP est issu des travaux de thèse de Tangara (2005) et Berthet (2010). Il a été conçu
pour la prévision des débits à court terme, et présente la particularité d’intégrer des stratégies 2
d’assimilation des débits passés pour mieux prévoir les crues à venir. Il fonctionne au pas
de temps horaire de manière à représenter de manière suffisamment fine la dynamique
des débits lors des événements de crues. Sa formulation mathématique est présentée dans
l’annexe A.3.
E P
Interception
En Pn
Es Ps Pn − Ps
Réservoir de
275 mm S
production
Perc Pr
Ajustement du CORR
volume Pr *CORR
Hydrogramme
unitaire
Mise à jour TB
Réservoir de
ROUT
routage R
Correction
F IGURE 2.7 – Schéma de la structure du modèle GRP (voir l’annexe A.3 pour la signification
des variables intermédiaires).
Un schéma de la structure du modèle GRP est présenté sur la Figure 2.7. Ce modèle corres-
pond à une version simplifiée de la structure du modèle GR4J, avec notamment la suppression
de la branche directe d’écoulement et le remplacement de la fonction d’échange par un co-
38 Chapitre 2. Données et modèles pluie-débit
efficient multiplicatif situé en amont de l’hydrogramme unitaire. Ces modifications ont été
comparées à de nombreuses autres alternatives dans le cadre de la thèse de Berthet (2010). Le
modèle ne comporte que trois paramètres libres (voir Table 2.3), d’autres paramètres ayant
été fixés, comme par exemple la capacité du réservoir de production.
Les travaux de Berthet (2010) ont montré que ces deux procédures permettent d’améliorer
significativement les performances du modèle par rapport à un mode de fonctionnement où
seule l’information pluviométrique est disponible. Les mises-à-jour sont parties intégrantes
de la structure du modèle qui utilise donc les précipitations et le dernier débit observé comme
entrées.
Les trois paramètres du modèle GRP sont estimés au moyen d’une procédure d’optimisation.
Le même algorithme de calage que celui utilisé pour le modèle GR4J est appliqué, mais dans
un contexte de prévision, c’est-à-dire que le modèle de prévision GRP fonctionne avec ses
mises-à-jour. L’estimation des paramètres est donc réalisée pour un horizon de prévision.
2.4. Synthèse 39
2.4 Synthèse
Pour répondre aux objectifs de recherche fixés dans cette thèse, nous avons mis en place un
cadre de comparaison qui repose sur un large échantillon de bassins versants pour lesquels
des données au pas de temps journalier et horaire sont disponibles sur une période d’au
moins dix ans.
2
Les modèles hydrologiques considérés sont les modèles développés au sein de l’équipe
d’hydrologie d’Antony en raison de l’expertise acquise lors de recherches antérieures. Un
modèle de simulation, GR4J, et un modèle de prévision, GRP, ont été retenus pour nos travaux.
3
M ÉTHODES D ’ ÉVALUATION DE LA QUALITÉ
3.1 Introduction
Après quelques rappels sur les probabilités, nous présentons les différents scores numériques
utilisés au cours de cette thèse.
Dans ce chapitre, nous utiliserons le terme générique de prédiction pour désigner les résultats
obtenus dans des contextes de simulation ou de prévision.
Dans un cadre probabiliste, l’incertitude sur la valeur d’une variable continue à prédire
s’exprime de la manière la plus complète par une fonction de répartition qui caractérise
la distribution prédictive. Une illustration du type d’information probabiliste qui peut être
communiqué et évalué à partir d’une fonction de répartition est présentée sur la Figure 3.1.
La fonction de répartition FQ (q) = Pr(Q ≤ q) de la variable Q, ici le débit, nous donne accès
aux valeurs des quantiles prédictifs. Ainsi, lorsque l’on considère la valeur q α du quantile
d’ordre α, nous pouvons exprimer la proposition suivante : la probabilité que le débit ne
dépasse pas la valeur q α est égale à α. Sur l’illustration, deux quantiles d’ordre 0.10 et 0.90
sont mis en évidence en orange, et les flèches indiquent l’information sur la variable prédite
que l’on obtient quand on considère ces quantiles.
Les bornes inférieure et supérieure d’un intervalle prédictif centré β sont respectivement
1−β 1+β
définies à partir des quantiles d’ordres 2 et 2 . L’assertion liée à la communication d’un
intervalle prédictif est alors la suivante : la probabilité que le débit se situe entre les bornes
de l’intervalle prédictif est égale à β. Sur l’illustration, les deux quantiles d’ordre 0.10 et 0.90
44 Chapitre 3. Méthodes d’évaluation de la qualité des incertitudes prédictives
1.00
0.90
Fonction de répartition FQ(q)
0.75
0.50
0.25
0.10
0.00
0 5 7.8 10 13 15 16.6 20 25
F IGURE 3.1 – Illustration d’une fonction de répartition FQ (q), et du lien entre fréquence au
non-dépassement et quantile de débit (flèches orange) ou réciproquement (flèche verte).
permettent de définir les bornes de l’intervalle prédictif à 80% indiquées par les flèches
orange.
Par ailleurs, il peut être intéressant, et en particulier dans un contexte de prévision de crues,
de communiquer une probabilité de non-dépassement d’un seuil de débit q s , par exemple un
seuil de vigilance dont la valeur est fixe au cours du temps. Pour accéder à cette information
à l’aide de la fonction de répartition, il suffit d’inverser la démarche précédente, et chercher
l’ordre du quantile qui correspond à la valeur q s . Sur la Figure 3.1, les lignes vertes illustrent
ce cheminement et la flèche indique la probabilité de non-dépassement pour une valeur q
donnée. Lorsque plusieurs seuils sont considérés, plusieurs catégories ordonnées de débits
sont créées, et la répartition des probabilités attribuées aux différentes catégories s’obtient
en calculant la différence des ordres successifs des quantiles qui correspondent aux valeurs
des seuils. La somme des probabilités d’appartenance à chaque catégorie doit être égale à 1.
Ces rappels nous semblent nécessaires pour mieux comprendre les critères d’évaluation, car
ils utilisent tous l’une ou l’autre de ces informations pour mesurer la qualité d’une série de
prédictions probabilistes.
3.3. Critères et outils graphiques d’évaluation 45
Aucun critère numérique ne permet à lui seul de quantifier de manière univoque ce qu’est
une « bonne » série de prédictions probabilistes (de même qu’il n’existe pas de critère unique
pour évaluer la qualité de prédictions déterministes, voir Bennett et al., 2013 et Crochemore 3
et al., 2014). Il est donc nécessaire de s’interroger sur ce que l’on attend des informations
fournies par des prédictions probabilistes, afin de choisir des critères qui reflètent certaines
propriétés attendues. Des outils graphiques d’évaluation peuvent également être utilisés
pour mettre en évidence les forces et les faiblesses d’une approche prédictive.
Nous présentons ici plusieurs critères selon les différentes formes de prédiction probabiliste
couramment utilisées :
– une série chronologique d’intervalles ;
– une série chronologique de quantiles ;
– une série chronologique de distributions prédictives ;
– une série chronologique de probabilités de dépassement de seuil.
Une présentation plus exhaustive et détaillée des critères d’évaluation est donnée dans les
ouvrages de Wilks (2011) et Jolliffe et Stephenson (2012).
situent à l’intérieur des intervalles prédictifs est égale à 90%. Le taux de couverture global
indique ainsi de manière simple et compréhensible si les intervalles prédictifs sous-estiment
ou surestiment les incertitudes. Le taux de couverture peut être calculé pour différents ni-
veaux de crédibilité, et pour différentes situations hydrologiques (par exemple sur les bas
débits, les hauts débits ou sur des événements de crues).
La fiabilité apparaît comme une condition nécessaire, mais non suffisante pour mesurer la
qualité des intervalles prédictifs. Pour être utiles, les intervalles prédictifs doivent à la fois
être valides et cohérents par rapport aux données issues de l’observation, mais également
suffisamment informatifs pour aider la prise de décisions. Autrement dit, les intervalles
prédictifs doivent être fiables et aussi fins que possible.
Pour évaluer la pertinence d’une évaluation des incertitudes, il est tout à fait envisageable
d’évaluer séparément fiabilité et finesse. Dans la mesure où ces deux propriétés ne sont
pas indépendantes et peuvent se compenser mutuellement, il est aussi possible d’utiliser
différents scores combinés.
Le score de Winkler (Gneiting et Raftery, 2007) permet de tenir compte de ces deux caracté-
ristiques. Pour un intervalle prédictif à β%, défini par l’intervalle [l , u], et un débit observé
q obs , ce score s’écrit :
2 2
sw β (l , u, q obs ) = (u − l ) + (l − q obs ) 1{q < l } + (q obs − u) 1{q obs > u} (3.1)
1−β 1−β
La pénalité attribuée lorsque le débit se situe en dehors des bornes de l’intervalle est propor-
tionnelle à la distance absolue entre le débit observé et une des bornes de l’intervalle, selon
3.3. Critères et outils graphiques d’évaluation 47
que le débit se situe au-dessus ou en dessous de l’intervalle. De plus, elle augmente avec le
niveau de crédibilité β.
Un score global SWβ , pour un niveau de crédibilité β donné, s’obtient en calculant la moyenne
des scores sw β obtenues pour chaque prédiction.
On ne peut pas parler de finesse pour les quantiles. Cependant, la fiabilité ne suffit pas à
caractériser la qualité globale des quantiles, puisqu’elle ne considère que la position relative
(au-dessus ou en dessous) d’un quantile par rapport à l’observation. De manière intuitive, on
s’attend à ce que la distance entre un quantile et l’observation ait une importance. Un critère,
le score de quantile, compare la valeur q α du quantile d’ordre α à un débit observé q obs de la
manière suivante (Gneiting et Raftery, 2007) :
s α (q α , q obs ) = (1 − α)(q α − q obs ) 1{q obs < q α } + α(q obs − q α ) 1{q obs Ê q α } (3.2)
Ce score correspond à une fonction de coût asymétrique et linéaire par morceaux. Par
exemple, pour un quantile d’ordre 0.90, le score obtenu lorsque l’observation se situe au-
dessus du quantile sera égal à la distance absolue entre l’observation et la valeur du quantile,
multipliée par l’ordre α du quantile, tandis que dans le cas contraire, le facteur multiplicatif
appliqué à la distance absolue sera égal à (1 − α). Un score global S α s’obtient en calculant la
moyenne des scores obtenus pour chaque prédiction.
Ce critère est particulièrement intéressant en raison de son lien avec le score CRPS (Conti-
nuous Rank Probability Score). Il est en effet possible de calculer le CRPS à partir d’un nombre
fini de quantiles, comme l’ont par exemple montré Bontron (2004) et Laio et Tamea (2007).
48 Chapitre 3. Méthodes d’évaluation de la qualité des incertitudes prédictives
Nous pouvons également remarquer que ce score appliqué à une série de quantiles d’ordre
0.5 est égal à la moitié de l’erreur absolue moyenne entre la médiane de la distribution
prédictive et l’observation.
Pour une prédiction, la valeur considérée est donc l’ordre du quantile qui est pointé par la
flèche noire sur la Figure 3.2, notée p z . Le diagramme de PIT, Probability Integral Transform,
permet d’évaluer visuellement la fiabilité d’une série de distributions prédictives, à l’aide d’un
diagramme quantile-quantile, ce qui revient à tracer la fonction de répartition des valeurs p nz .
Ce type de diagramme présenté sur la Figure 3.3 est fréquemment utilisé en modélisation
hydrologique.
Il devient cependant rapidement difficile de visualiser chacune des courbes obtenues pour
différents bassins versants ou différentes méthodes prédictives. Ceci a conduit Renard et al.
(2010) à proposer un score qui synthétise la fiabilité d’une série de distributions prédictives
en quantifiant les déviations par rapport au cas idéal. Ce score FIABγ correspond à l’aire
entre la diagonale et une courbe PIT. Il est calculé de la manière suivante :
1 XN ¯ ¯
¯ z
FIABγ = ¯p n − p nt h ¯ (3.3)
¯
N n=1
1.00
0.50
0.25
3
0.00
0 5 10 15 20 25
Ces travaux nous ont amené à utiliser un indice de fiabilité calculé comme la moyenne des
scores de fiabilité FIABγ obtenus de manière séparée sur les hauts et les bas débits. Cela
permet de pénaliser les cas où des compensations ont lieu.
Nous avons choisi d’utiliser un critère de finesse proposé dans la thèse de Bontron (2004). Il
s’agit de calculer le CRPS, décrit à l’équation 3.4 en remplaçant l’observation par la médiane
de la distribution prédictive. Le score obtenu ne dépend que de l’étalement de la distribution.
50 Chapitre 3. Méthodes d’évaluation de la qualité des incertitudes prédictives
1.00
Surestimation
Fonction de répartition des valeurs PIT
0.75
Sous-dispersion
0.50
Surdispersion
0.25
Sous-estimation
0.00
F IGURE 3.3 – Illustration du diagramme de PIT, où chaque courbe correspond à une série
de prédictions. La courbe bleue correspond à des prédictions probabilistes surdispersées,
puisque l’observation a tendance à se situer trop souvent dans la partie centrale des distribu-
tions prédictives. Au contraire, la courbe verte caractérise des prédictions sous-dispersives,
qui sous-estiment les incertitudes, les observations se situant alors trop fréquemment au
niveau des quantiles supérieurs et inférieurs des distributions. La courbe orange suggère
une surestimation systématique des débits observés, tandis que la courbe jaune suggère au
contraire une sous-estimation systématique.
3.3. Critères et outils graphiques d’évaluation 51
On peut considérer qu’un des principaux objectifs d’une quantification des incertitudes
est de minimiser l’incertitude prédictive tout en s’assurant de la fiabilité de la méthode
prédictive (Gneiting et Raftery, 2007; Renard et al., 2010). Il s’agit donc de proposer des
prédictions les plus informatives possible, à condition que ces informations probabilistes
soient « justes ».
Le score le plus utilisé pour évaluer la performance globale des prédictions probabilistes est
le CRPS moyen (Continuous Rank Probability Score). Le CRPS moyen s’obtient à partir des
scores individuels CRPS, calculés par l’intégrale suivante : 3
Z ∞ ¡ ¢2
CRPS(FX , q obs ) = FX (x) − 1{q obs É x} d x (3.4)
−∞
1.00
Fonction de répartition FQ(q)
0.75
0.50
0.25
0.00
0 10 20
F IGURE 3.4 – Illustration du calcul du CRPS, égal à la surface en orange. La valeur observée
est indiquée par la ligne noire verticale ; la distribution prédictive correspond à la courbe
bleue.
La Figure 3.4 illustre la manière dont la distribution prédictive est confrontée à une valeur
observée. Considérons la fonction de répartition associée à une distribution prédictive et la
valeur du débit observé. Le calcul de l’intégrale présentée ci-dessus correspond à la surface
orange. Le CRPS quantifie l’écart, la distance, entre la distribution prédictive et une fonction
52 Chapitre 3. Méthodes d’évaluation de la qualité des incertitudes prédictives
échelon centrée sur la valeur observée. Une distribution prédictive peu dispersée et centrée,
à proximité de la valeur observée, sera moins pénalisée qu’une distribution fortement disper-
sée, ou qu’une distribution éloignée de la valeur observée. Le CRPS permet de prendre en
compte à la fois la position de l’observation dans la distribution prédictive et la finesse de la
distribution.
Comme nous l’avons signalé plus haut, le CRPS peut également être calculé à partir du score
de quantile s α :
Z 1
CRPS(F, q obs ) = 2 s α (q α , q obs ) d α (3.5)
0
Nous avons utilisé cette équivalence pour obtenir une approximation du CRPS, calculé
à partir d’un nombre suffisamment important de quantiles. Pour l’ensemble des travaux
présentés dans cette thèse, 99 quantiles ont été utilisés pour caractériser les distributions
prédictives.
1 XN
BS = p2 (3.6)
N n=1 n
La Figure 3.5 illustre une situation où l’événement, défini par le non-dépassement du seuil,
n’est pas réalisé, puisque la valeur observée est supérieure à celle du seuil. Dans ce cas, la
probabilité p n est égale à α, l’ordre du quantile correspondant à la valeur du seuil (en vert).
Lorsque plusieurs seuils sont considérés, le RPS (Rank Probability Score) peut être utilisé pour
évaluer des prédictions probabilistes par catégories. Il s’obtient simplement en calculant la
3.4. Choix d’une référence : la climatologie 53
1.00
0.50
0.25
3
0.00
0 5 10 15 20 25
F IGURE 3.5 – Illustration du calcul du score de Brier. La valeur du seuil considérée correspond
à l’abscisse de la ligne verticale verte. La probabilité de non-dépassement correspond à
l’ordre du quantile pointé par la flèche verte. La valeur observée est indiquée par la ligne
noire verticale.
somme des scores de Brier obtenus par chacun des seuils considérés. Au contraire du CRPS,
qui s’obtient par intégration des BS, le RPS ne considère qu’une somme des BS. Ceci explique
que le BS et le RPS sont adimensionnels, alors que le CRPS a la même unité que la variable
prédite.
Les scores probabilistes peuvent être présentés sous forme de gain de performance d’une
méthode par rapport à une autre. Ces scores de compétence (skill score) sont calculés de la
manière suivante :
ScoreA
SC = 1 − (3.7)
ScoreB
où ScoreA et ScoreB sont les scores obtenus par les méthodes prédictives A et B respecti-
vement. Nous pouvons remarquer que cette formulation est similaire à celle du critère de
performance de Nash et Sutcliffe (1970) couramment utilisé en modélisation hydrologique.
Les scores de compétence présentent l’avantage d’être adimensionnels et sont donc par-
54 Chapitre 3. Méthodes d’évaluation de la qualité des incertitudes prédictives
ticulièrement bien adaptés aux études sur de nombreux bassins versants. Nous pourrons
x
également utiliser la transformation proposée par Mathevet (2005), f (x) = 2−x , qui permet
de limiter la gamme de variation des scores de compétence à l’intervalle [-1, 1].
Dans l’ensemble des travaux présentés dans cette thèse, nous avons utilisé la « climatologie »
des débits observés comme méthode prédictive de référence. Cette approche possède les
caractéristiques suivantes : elle est inconditionnelle, dans le sens où la même prédiction est
donnée pour tous les pas de temps ; et fiable, par construction, puisqu’elle est construite
à partir des observations. Pour garantir la fiabilité sur chaque période d’évaluation, une
climatologie différente est construite pour chaque période.
Les scores liés à la notion de fiabilité ne sont pas directement concernés par cette normalisa-
tion. On pourra néanmoins remarquer que la climatologie présente, par construction, un
diagramme de PIT idéal.
3.5 Synthèse
Nous avons présenté dans ce chapitre plusieurs critères numériques permettant d’évaluer
différentes caractéristiques des prédictions probabilistes. La Table 3.1 résume les différents
critères utilisés au cours de cette thèse pour évaluer divers types de prédiction, avec la qualité
évaluée par ces critères.
4
F LOW- GROUP CONDITIONING OF THE PIT
DIAGRAM : HOW TO AVOID BEING RIGHT FOR
Flow-group conditioning of the PIT diagram: how to avoid being right for the wrong
reasons
Résumé
Abstract
Reliability is a fundamental attribute when evaluating the quality of probabilistic flow predic-
tions and the statistical coherence of the associated uncertainty estimates. It is commonly
evaluated using the Probability Integral Transform (PIT) diagram. Here, we investigate a
major pitfall of this diagram, when used in the evaluation of streamflow forecasts. An exten-
sive application of the PIT diagram to the probabilistic streamflow forecasts produced by a
hydrological model and an uncertainty post-processor is presented for a set of 202 French
catchments. Results show the necessity and benefits of conditioning the PIT diagram on at
least two specific flow groups of low and high flows (defined using the predicted flows). We
show that compensations can occur when all flows are considered together, as usually done
in the evaluation of hydrological predictions. The use of conditioning strategies can avoid an
58 Chapter 4. Flow-group conditioning of the PIT diagram
unduly optimistic evaluation of forecast quality and help identifying avenues for improving
the probabilistic forecasting system.
4.1 Introduction
The most common way to communicate uncertainty in streamflow predictions for water
resources and risk management is through the use of probabilities and prediction inter-
vals (Ramos et al., 2010). While the advantages of probabilistic flow forecasting for decision-
making are recognized (Boucher et al., 2012; Ramos et al., 2013), the evaluation of the quality
of probabilistic forecasts remains a challenging issue. A specific evaluation framework is
required in the probabilistic context and it may depend on how the variable being evaluated
is distributed in space and time.
Hydrologists have adopted several verification scores and tools developed in the atmospheric
sciences or econometrics (Laio and Tamea, 2007; Franz and Hogue, 2011). Moreover, evalu-
ation strategies in a hydrologic context have been developed to account for the particular
space-time variability of flow (e.g., Brown et al., 2010; Zappa et al., 2013). In general, forecast
quality evaluation focuses on the agreement between forecasts and observations, on the
performance of the forecasts comparatively to a reference system (skill), on the ability of the
forecast system to detect critical events, or on the reliability and sharpness of the predictive
distributions (Wilks, 2011).
The Probability Integral Transform (PIT) diagram is a graphical tool that has a long tradition
in probabilistic forecast verification (see Gneiting et al., 2007, and references therein). Since
its introduction in hydrology by Laio and Tamea (2007), the PIT diagram, also known as the
predictive QQ plot, has become one of the favorite tools to assess the reliability of predictive
4.2. Data and methods 59
distributions (e.g., Thyer et al., 2009; Engeland et al., 2010; Schoups and Vrugt, 2010; Bogner
and Pappenberger, 2011; Weerts et al., 2011; DeChant and Moradkhani, 2012).
At first glance, the PIT diagram offers a simple and yet powerful way to scrutinize the reliabil-
ity of predictive distributions. However, its use as a diagnostic tool in hydrological forecasting
raises a crucial question: considering the strong variability of catchment behaviors and hy-
drological signatures, can this diagram adequately inform about the reliability of streamflow
forecasts in all situations (i.e., when forecasts are either targeting peak flows or recession
periods within hydrological events)? Our goal is to show that there are some pitfalls to be
avoided when using the PIT diagram for the evaluation of probabilistic hydrological forecasts
and that the use of stratified data can help in revealing hidden biases. This is demonstrated
through the application of a hydrological forecasting model combined with an uncertainty 4
post-processor to a large set of catchments.
A set of 202 unregulated catchments spread over France was used. They represent various
hydrological regimes, given the variability in climate, topography and geology in France.
Hourly rainfall, potential evapotranspiration (PE) and streamflow data series were available
over the 1997–2006 period. PE was estimated using a temperature-based formula (Oudin
et al., 2005). Rainfall and temperature data come from a radar-based reanalysis produced by
Météo-France (Tabary et al., 2012). Flow data were extracted from the national streamflow
HYDRO archive (www.hydro.eaufrance.fr).
The GRP model is a lumped storage-type model designed for flood forecasting and currently
used by flood forecasting services in France. It has three free parameters and uses catchment
60 Chapter 4. Flow-group conditioning of the PIT diagram
areal rainfall and PE as inputs. The model also assimilates discharge observations available
when issuing a forecast. More details about the model can be found in Berthet et al. (2009).
The three parameters were calibrated for each catchment by minimizing the root mean
square errors (RMSE) during the first five years of available data (1997–2001). The other
five years (2002–2006) were used to evaluate the streamflow forecasts with the PIT diagram.
Observed rainfalls were used as “perfect” rainfall forecasts over each period. The model was
run at the hourly time step and forecasts issued for a 24-hour lead-time were evaluated.
The GRP model is deterministic: a single output is obtained from a single input scenario. One
possibility to provide probabilistic forecasts with the model is to use it in combination with a
hydrological uncertainty post-processor (Krzysztofowicz, 1999). In this study, post-processing
is performed using a data-based approach: the distribution of relative errors (ratio between
observed and predicted flows) obtained during the calibration period is approximated by
empirical quantiles. These quantiles are multiplicative coefficients that are then used during
the evaluation period to estimate predictive distributions.
The PIT diagram is used to assess the reliability of the probabilistic streamflow forecasts. At
each time step, the PIT value is equal to the cumulative distribution Ft of predicted flows
evaluated at the observed flow x t , i.e. PITt = Ft (x t ). The empirical cumulative distribution
of these values over all the time steps of the evaluation period gives the PIT diagram. If the
forecasts are reliable, the PIT values follow a uniform distribution on the interval [0, 1]. Relia-
bility of the probabilistic forecasts implies that the observations should not be preferentially
located in specific parts of the predictive distributions, but instead should uniformly span
the whole predictive range.
Common shapes of the PIT diagram and their usual interpretation are illustrated in Fig-
ure 4.1 (based on Laio and Tamea, 2007). If the curve systematically lies above the bisector,
the observed values are too frequently located in the lower parts of the predictive cumulative
distributions, suggesting a systematic bias of over-prediction. Conversely, under-prediction
occurs when the observed values are too often located in the upper parts of the predictive
distributions. If the PIT values are mostly clustered around the midrange, it means that the
probabilistic forecasts are in general too wide and that the observed values do not reach the
tails; forecasts are said to be over-dispersive (i.e., predictive uncertainty is over-estimated).
Conversely, when the observed values are too often located in the tails, the forecasts are in
general too narrow, under- dispersive (i.e., predictive uncertainty is under-estimated).
4.3. Results 61
Renard et al. (2010) proposed an index to quantify reliability based on the PIT diagram. The
Alpha score is directly related to the area A between the bisector and the curve (see Figure 4.1)
and summarizes the deviation of the PIT diagram from the ideal situation (the bisector). It is
defined as (1 − 2 × A) and ranges from 0 (poor reliability) to 1 (“perfect” reliability).
4.3 Results
4.3.1 Evaluation of the PIT diagram over the entire flow range
Figure 4.2 (left) shows the PIT diagrams obtained for the studied catchments during the
5-year evaluation period when all flows are considered. Thin lines represent the results for
the catchments, while dotted thick lines represent deviations of ± 0.1 from the bisector. The
202 catchments were split into four groups (S1 to S4) according to the shape of their PIT 4
diagrams and following the common shapes illustrated in Figure 4.1.
We can see that the forecasting system analyzed here produces, in general, predictive distri-
butions that can be considered fairly reliable: deviations of the curves from the bisector are
limited and the PIT diagrams are most often within the bands defined around the bisector.
When looking at the different groups, we can see from the shape of the curves that the main
deficiencies (although limited) are related to an over-prediction (group S1 with 95 catch-
ments) and an under-prediction (group S2 with 59 catchments) of the forecasting system.
The cases of under-dispersive and over-dispersive forecasts (S3 and S4 groups, with 13 and
35 catchments, respectively) occur less often in our data set.
Two flow groups were defined for each catchment by taking the 30% lowest (low flow group)
and the 30% highest (high flow group) predicted flows during the evaluation period. These
thresholds were selected in order to obtain two distinct flow subsets, while keeping, at
the same time, a large enough number of verification pairs for the statistical evaluation
of reliability. Since reliability is an attribute that concerns the conditional distribution of
observation given the forecasts, data stratification was done conditionally on the predicted
flows rather than the observed flows (see also Mascaro et al. (2010)).
Figure 4.2 illustrates the PIT diagrams for each flow group (center and right columns) and
catchment group (rows). Several of the catchments where forecasts could be considered
62 Chapter 4. Flow-group conditioning of the PIT diagram
1.00
Over-prediction
0.75
Cumulative Frequency
Under-dispersion
0.50
Over-dispersion
0.25
Under-prediction
0.00
PIT values
Figure 4.1: Common shapes and usual interpretation of the PIT diagram. The grey area
between the blue curve and the bisector can be used to summarize the deviation of the PIT
diagram from the ideal situation (cf. the Alpha score in Section 4.2.3).
4.3. Results 63
95
0.8
0.6
S1
0.4
0.2
59
0.8
0.6
S2
Cumulative Frequency
0.4
0.2
13
0.8
4
0.6
S3
0.4
0.2
35
0.8
0.6
0.4
S4
0.2
0.2 0.4 0.6 0.8 0.2 0.4 0.6 0.8 0.2 0.4 0.6 0.8
PIT values
Figure 4.2: PIT diagrams calculated over the entire flow range (left) and PIT diagrams cal-
culated for low (center) and high (right) flows. Each line corresponds to one of the 202
catchments. Four groups of catchments (S1 to S4) are defined based on common shapes
of the curves (see Figure 4.1). The number of catchments within each group is given in the
upper left corners.
64 Chapter 4. Flow-group conditioning of the PIT diagram
reliable when all flows were analyzed altogether now depict unreliable predictive distributions
when high and low flows are analyzed separately. Note that these differences cannot be
attributed to the smaller sample sizes used to build the flow-conditional PIT diagrams. Indeed,
with a 5-year validation period and hourly data, each high or low flow PIT diagram is built
with more than 13,000 data points.
This result shows that the PIT diagrams calculated over the entire flow range can hide some
deficiencies of the predictive distributions and, consequently, provide an overly confident
evaluation of forecast reliability. Compensation effects may occur: a system with an over-
estimation (or over-dispersion) for low flows and an underestimation (or under-dispersion)
for high flows may yield a PIT diagram indicating good reliability when flows are considered
altogether without data stratification.
To further illustrate the issues of inconsistency of forecast reliability evaluation across flow
groups, we used the Alpha score. Figure 4.3 shows the differences between the Alpha scores
computed for each flow group (low and high flows) and the Alpha score computed over the
entire flow range. Differences for low flows are plotted in the x-axis and for high flows in
the y-axis. If a point is located far away from the position (0,0), it means that inconsisten-
cies exist between the reliability analysis using all flows and the analysis stratified by flow
groups. Different behaviors, inconsistencies and compensation effects are highlighted. While
consistently reliable predictive distributions are obtained for a few catchments, significantly
lower values of the Alpha score, either for low flows (x-axis) or for high flows (y-axis), can be
found. Compensations are even more apparent when both scores (for low and high flows)
are significantly lower than the one obtained from the PIT diagram computed over the entire
flow range. Such a case is illustrated by the catchment represented by a black triangle: while
its Alpha score using all flows is 0.94, the scores obtained for low and high flows are only 0.69
and 0.76, respectively. For this particular catchment, the PIT diagrams reveal that uncertainty
is under-estimated for high flows while it is overestimated for low flows, illustrating that two
non-ideal situations can result in an apparently satisfying evaluation of forecast reliability.
4.3. Results 65
0.2
0.0
aAll
aHF- aAll
0.9
-0.2
0.8
-0.4
4
-0.6
aLF- aAll
Figure 4.3: Differences between Alpha scores when they are computed over the entire flow
range (αAll ) or for either low flows (αLF ) or high flows (αHF ). Each dot corresponds to one of
the 202 catchments. The dots are coloured according to the Alpha score computed over the
entire flow range (αAll ).
66 Chapter 4. Flow-group conditioning of the PIT diagram
This study contributes to understand how tools and scores commonly applied in streamflow
forecast verification to detect probability biases can potentially present a risk of misinter-
pretations. The main issues that may affect the interpretation of the PIT diagram, one of
the most common tools to evaluate the reliability of probabilistic prediction systems, were
examined on a set of 202 catchments using 24-hour-ahead flow forecasts. Evaluation at each
catchment considered either the entire flow range or subsets of high and low predicted flows
separately. Results show that compensation effects may occur between flow groups: while the
PIT diagram evaluated over the whole flow range may indicate a reliable forecasting system,
it may hide a lack of reliability and different probability biases when high or low flows are
predicted. A too rapid overall analysis of the quality of a prediction system may thus hide
important biases in predictions that are of most interest for forecast users involved in flood
forecasting, risk and water resources management.
Other conditioning strategies to better assess forecast attributes may also be helpful de-
pending on the forecast context: focusing on different seasons or on rainfall-driven parts of
the predicted hydrographs, or using a measure of spread of the predictive distributions to
stratify the data could provide additional insights into potential deficiencies or hidden skills
of probabilistic forecasts.
As shown in this study, it is important to pay attention to the necessity and the benefits of
a simple conditioning approach that can avoid an unduly optimistic evaluation of forecast
quality and help identifying avenues for improving the probabilistic forecasting system. It is
also consistent with a more user-oriented evaluation, where high or low predicted flows may
be of interest independently.
4.5 Acknowledgements
The authors thank Météo-France for providing the meteorological data and Banque HYDRO
for the hydrological data. The financial support of SCHAPI to the first author is also gratefully
acknowledged.
5
P RÉSENTATION DES MÉTHODES UTILISÉES EN
SIMULATION
5.1. Introduction 69
5.1 Introduction
Ce chapitre a pour objectif de présenter les différentes méthodes que nous avons testées
dans un contexte de simulation. Nous nous sommes d’abord penchés sur deux approches
très communément utilisées en modélisation hydrologique, la méthode GLUE et l’approche
bayésienne. Ces deux approches diffèrent dans leur manière de quantifier l’incertitude
prédictive, mais partagent le fait d’associer la problématique de l’estimation des paramètres
à celle de la quantification de l’incertitude prédictive. Nous présentons dans un deuxième
temps d’autres approches de quantification de l’incertitude prédictive, l’approche multi-
modèles et l’approche statistique de post-traitement.
5
5.2.1 Pourquoi s’intéresser à cette méthode ?
Comme nous l’avons mentionné au chapitre 1, la méthode GLUE a été utilisée dans de
nombreuses études. La plupart des applications de cette méthode font appel à une fonction
objectif usuelle pour évaluer les performances obtenues avec différents jeux de paramètres
tirés de manière aléatoire, sélectionner certains jeux de paramètres considérés comme ac-
ceptables, et pondérer la distribution des résultats obtenus avec l’ensemble de ces jeux de
paramètres pour en déduire des intervalles prédictifs exprimant l’incertitude de modélisa-
tion.
Certains auteurs sont très critiques envers la méthode GLUE, et considérent que les choix
arbitraires rendent les intervalles prédictifs sans fondements statistiques. Ils ne devraient
donc pas être utilisés dans le cadre d’un travail scientifique. Pour les utilisateurs de cette
approche, la méthode est une alternative aux autres méthodes plus formelles, mais jugées
inadaptées aux cas réels rencontrés en modélisation environnementale.
Les débats théoriques semblent interminables. La méthode continue d’être très utilisée, dans
différents contextes de modélisation hydrologique, et il nous a semblé intéressant de tester
de manière pragmatique cette approche sur notre large échantillon de bassins versants.
70 Chapitre 5. Présentation des méthodes utilisées en simulation
Choix méthodologiques
Trois critères de performance quadratiques, notés NSQ, NSV et NSL ont été utilisés. Ils cor-
respondent respectivement aux critères de Nash-Sutcliffe calculés sur les débits, les racines
carrées des débits et les logarithmes des débits. Ces critères sont utilisés dans de nombreuses
applications de la méthode GLUE, et sont de manière plus générale représentatifs d’applica-
tions s’intéressant respectivement plutôt aux crues, à tous les débits ou aux étiages.
Pour distinguer les paramètres acceptables des paramètres rejetés, nous avons utilisé des
seuils de performance relatifs. Les paramètres dont les performances étaient supérieures à 70,
80 et 90% de la valeur maximale obtenue lors de l’étape d’exploration des paramètres (décrite
ci-dessous) ont été considérés comme acceptables. Il s’agit d’un choix rendu nécessaire par
le fait de travailler sur des bassins versants variés. Il ne nous a en effet pas semblé opportun
de fixer un même seuil pour l’ensemble des bassins versants en raison de la dépendance des
critères de Nash-Sutcliffe aux caractéristiques des bassins et des périodes de calage.
Stratégie d’échantillonnage
Nous avons d’abord évalué les performances d’un million de jeux de paramètres pour chaque
bassin et chaque période de calage 1 . Ces jeux de paramètres ont été obtenus par un échan-
tillonnage de type latin hypercube, une variante d’un échantillonnage de Monte Carlo, dans
l’espace des paramètres transformés. Cette première étape nous a permis d’explorer de
manière systématique les surfaces de réponse.
Une deuxième étape a été nécessaire pour obtenir un nombre suffisant de jeux de paramètres.
Nous avons donc, pour chaque bassin, chaque période, chaque critère de performance, et
chaque seuil de performance, réalisé des tirages aléatoires dans un espace des paramètres
réduit, de manière à obtenir un ensemble de mille jeux de paramètres acceptables. Les
bornes minimales et maximales de chaque paramètre ont été limitées grâce aux informations
1. La procédure de calage-contrôle est présentée au chapitre 6.
5.2. Calage et analyse des incertitudes selon la méthode GLUE 71
obtenues lors de l’exploration systématique des surfaces de réponse à l’aide d’un million de
jeux de paramètre. En raison des compensations possibles entre les deux paramètres liés à la
capacité des réservoirs, nous avons également estimé les valeurs maximales de la capacité du
réservoir de production en fonction de la capacité du réservoir de routage, ce qui a permis de
limiter considérablement le nombre de simulations nécessaires pour obtenir mille jeux de
paramètres. Les tirages aléatoires ont cette fois été effectués dans l’espace des paramètres
non-transformés, afin d’éviter de pondérer les distributions des paramètres en fonction du
déterminant de la matrice jacobienne décrivant la transformation des paramètres.
Dans la grande majorité des cas, cette stratégie d’échantillonnage nous a permis d’obtenir
facilement des ensembles de mille jeux de paramètres. Nous n’avons rencontré des difficultés
qu’avec sept bassins versants sur un total de 202. Certaines surfaces de réponse se sont
révélés trop complexes pour qu’une caractérisation satisfaisante soit possible dans le cadre
de notre étude. Les cas les plus difficiles sont apparus pour les raisons suivantes :
L’incertitude prédictive s’obtient à partir des simulations obtenues avec les jeux de para-
mètres considérés comme acceptables. Les quantiles pondérés de la distribution empirique
des débits simulés sont calculés à chaque pas de temps. Le poids attribué à chaque jeu de
paramètres est proportionnel au critère de performance (voir par exemple Beven et Freer,
2001).
Nous présentons brièvement les caractéristiques des jeux de paramètres retenus. Nous
souhaitons mettre en évidence l’impact du critère d’évaluation et l’impact du seuil sur les
jeux de paramètres qui constituent l’ensemble prédictif.
72 Chapitre 5. Présentation des méthodes utilisées en simulation
Par construction, les performances individuelles des jeux de paramètres sont meilleures
lorsque le seuil augmente. La Figure 5.1 illustre cette évidence pour les expériences NSQ70 ,
NSQ80 et NSQ90 , qui correspondent à une utilisation du critère de Nash-Sutcliffe avec une
valeur seuil de performance respectivement égale à 70, 80 et 90% de sa valeur maximale.
Lorsque le seuil augmente, les distributions se déplacent vers de plus fortes valeurs et la
variabilité des performances au sein des ensembles de paramètres diminue.
1.00
0.75
NSQ70
0.50
0.25
Fréquence cumulée
0.00
1.00
0.75
NSQ80
0.50
0.25
0.00
1.00
0.75
NSQ90
0.50
0.25
0.00
0.00 0.25 0.50 0.75 1.00
NSQ
F IGURE 5.1 – Distributions des critères de performance NSQ obtenus pour 1000 jeux de
paramètres, pour chaque bassin et chaque période.
Si la surface de réponse est suffisamment bien définie, on s’attend à ce que les paramètres
qui obtiennent les meilleures performances se situent dans une zone limitée de l’espace des
paramètres, située à proximité d’un optimum global.
La visualisation des jeux de paramètres retenus suggère que c’est en effet le plus souvent le
cas. La Figure 5.2 fournit un résumé des distributions marginales des paramètres transformés
pour les expériences NSQ70 , NSQ80 et NSQ90 . Il apparaît que la variabilité, mesurée ici par
5.2. Calage et analyse des incertitudes selon la méthode GLUE 73
les écarts interquartiles des distributions marginales des paramètres, diminue lorsque le
seuil sur le critère de performance augmente. Les écarts interquartiles restent néanmoins
importants au regard des gammes de variation habituelles des paramètres du modèle GR4J.
Des résultats similaires sont obtenus avec les deux autres critères NSV et NSL.
NSQ70
NSQ80
NSQ90
6
Ecart interquartile
5
0
X3 X1 X2 X4
F IGURE 5.2 – Boxplots (quantiles 5, 25, 50, 75 et 95%) des écarts interquartiles des distributions
marginales des paramètres transformés obtenus avec le critère NSQ.
5.2.4 Synthèse
La méthode GLUE est une des méthodes d’analyse des incertitudes les plus utilisées en mo-
délisation hydrologique. Nous avons choisi d’appliquer cette approche selon des modalités
fréquemment rencontrées dans la littérature. Comme les jeux de paramètres qui composent
l’ensemble prédictif varient selon le critère de performance et le seuil utilisé, nous avons
réalisé neuf expériences qui reflètent la diversité des résultats qui peuvent être obtenus avec
cette méthode.
74 Chapitre 5. Présentation des méthodes utilisées en simulation
Choix méthodologiques
Nous avons choisi de nous concentrer sur l’application la plus simple possible du calage
bayésien.
Lorsque les erreurs résiduelles sont supposées être des réalisations indépendantes d’une loi
normale, appelée aussi gaussienne, qu’aucune information a priori n’est utilisée, et que la
contribution de la variance des résidus est marginalisée, la densité de probabilité a posteriori
des paramètres du modèle hydrologique, notée p(θ|D) où D désigne de manière générale les
données disponibles, est liée aux critères de performance quadratiques, comme l’ont par
exemple rappelé Vrugt et al. (2003b), Kavetski et al. (2006a) et Lu et al. (2012) :
· n ¡ ¸−n/2
X ¢2
p(θ|D) ∝ Qo,t − Qs,t (θ) (5.1)
t =1
où n est le nombre de pas de temps, Qo,t et Qs,t (θ) sont respectivement le débit observé, et le
débit simulé avec les paramètres θ, au pas de temps t .
Une présentation plus complète de cette formulation du calage bayésien est disponible dans
l’annexe B.1.
Une stratégie couramment adoptée pour stabiliser la variance des résidus consiste à utiliser
une transformation de variable. La transformation de Box-Cox est la plus fréquemment
rencontrée ; elle est définie par :
λ
y −1
, si λ 6= 0,
λ
y (λ) = (5.2)
log (y), si λ = 0.
Nous avons testé quatre fonctions de vraisemblance qui correspondent à trois transforma-
tions de Box-Cox, avec les paramètres λ = 0, 0.3 et 0.5, et à la fonction de vraisemblance
classique des moindres carrées, ce qui revient à utiliser λ = 1. Nous noterons ces variantes
BC0 , BC0.3 , BC0.5 , et BC1 respectivement. Ce choix correspond à l’utilisation des transfor-
5.3. Calage et incertitude prédictive selon l’approche bayésienne 75
mations logarithmique et racine carrée que nous utilisons couramment pour le calcul des
critères NSL et NSV, ainsi qu’à un choix que l’on retrouve assez souvent dans la littérature,
λ = 0.3 (e.g., Vrugt et al., 2009).
L’impact de l’utilisation d’une transformation puissance sur les paramètres et les perfor-
mances du modèle GR4J a été étudié par Oudin et al. (2006) et Le Moine (2008). Leurs travaux
ont montré que le choix de la puissance conduisait à privilégier l’évaluation de certaines
gammes de débits. Les faibles valeurs, entre 0 et 0.3, privilégient plutôt les basses eaux tandis
que les plus fortes valeurs, supérieures à 1, privilégient plutôt les hautes eaux. Il nous a semblé
intéressant de tester l’impact de la transformation de Box-Cox, à la fois sur la distribution des
paramètres du modèle hydrologique, mais également sur l’incertitude prédictive qui reflète
les hypothèses statistiques du modèle d’erreur.
Stratégie d’échantillonnage
Nous avons utilisé trois chaînes de Markov en parallèle de manière à évaluer la convergence
des trajectoires vers la distribution a posteriori. Les trois chaînes ont été initialisées au niveau
ou à proximité du maximum de vraisemblance de manière à limiter le nombre de simulations.
Pour deux chaînes, le paramètre transformé correspondant à la capacité du réservoir de
routage a été perturbé de ± 10%. Chacune des chaînes évolue pendant 5000 itérations,
l’adaptation de la matrice de covariance qui permet de guider l’échantillonnage est arrêtée
au bout de 4000 itérations, et les 500 derniers jeux de paramètres obtenus pour chaque
chaîne sont conservés. Nous avons visualisé les trajectoires des trois chaînes, et calculé le
critère de Gelman-Rubin (Gelman et al., 2004) pour diagnostiquer d’éventuels problèmes de
convergence. Ce critère repose sur une comparaison entre la variance entre les chaînes et la
variance dans les chaînes.
76 Chapitre 5. Présentation des méthodes utilisées en simulation
Nous n’avons rencontré des difficultés que dans un nombre très limité de cas, 11 parmi 1616. Il
s’agissait de surfaces de réponse bi-modales pour lesquelles deux des trois chaînes évoluaient
à proximité d’un mode différent de celui de la troisième chaîne. L’impact sur les débits simulés
s’est révélé négligeable, les deux modes de convergence étant très proches, et nous avons
choisi d’utiliser l’ensemble des jeux de paramètres comme s’il s’agissait d’échantillons de la
distribution cible.
Dans le cadre de notre application du calage bayésien, l’incertitude prédictive résulte d’une
part de la variabilité apportée par les simulations obtenues avec les différents jeux de para-
mètres constituant une approximation numérique de la distribution a posteriori, et d’autre
part de la variabilité apportée par les erreurs résiduelles.
A chaque pas de temps, chacune des valeurs obtenues avec les différents jeux de paramètres
est perturbée par une erreur aléatoire qui suit une loi gaussienne de moyenne nulle et de
variance constante. Dans notre cas, la variance de ces perturbations est indépendante des
jeux de paramètres du modèle hydrologique, et a été estimée à partir des erreurs résiduelles
obtenues avec le jeux de paramètres qui correspond au maximum de vraisemblance.
Nous présentons à présent une brève analyse des jeux de paramètres obtenus avec le calage
bayésien. Nous souhaitons mettre en évidence l’impact de la transformation de Box-Cox sur
les jeux de paramètres.
La Figure 5.3 fournit un résumé des valeurs médianes des distributions marginales des
paramètres transformés pour les quatre expériences effectuées. Nous pouvons constater que
les valeurs des réservoirs de routage (X3) et de production (X1) semblent diminuer lorsque le
paramètre de la transformation de Box-Cox augmente, au contraire des valeurs du paramètre
d’échange (X2) et du temps de base (X4) qui semblent, quant à elles, augmenter.
5.3. Calage et incertitude prédictive selon l’approche bayésienne 77
La Figure 5.4 présente les distributions des écarts interquartiles des distributions marginales
des paramètres transformés. Nous constatons que la variabilité, et donc l’incertitude sur
les paramètres X3 et X4 a tendance à diminuer lorsque le paramètre de la transformation
de Box-Cox augmente. Une possible explication est que les critères qui privilégient les plus
hauts débits permettent de mieux discriminer les paramètres liés à la fonction de routage, en
raison de l’importance donnée par ces critères à la représentation de la dynamique des crues.
5
Valeur des paramètres transformés
BC0
0
BC0.3
BC0.5
BC1
−5
5
−10
X3 X1 X2 X4
F IGURE 5.3 – Boxplots (quantiles 5, 25, 50, 75 et 95%) des valeurs médianes des distributions
marginales des paramètres transformés obtenus avec le calage bayésien (MCMC).
5.3.3 Synthèse
Dans le cadre du calage bayésien, le choix d’une fonction de vraisemblance reflète la construc-
tion d’un modèle probabiliste capable de représenter la variabilité des débits observés.
Nous avons réalisé quatre expériences de calage selon l’approche bayésienne. Ces expé-
riences dépendent du paramètre de la transformation de Box-Cox qui est utilisé pour limiter
l’hétéroscédasticité des résidus. Les jeux de paramètres qui constituent l’échantillon a pos-
teriori diffèrent suivant la transformation utilisée. Nous verrons dans quelle mesure cela
impacte la quantification de l’incertitude prédictive au prochain chapitre.
78 Chapitre 5. Présentation des méthodes utilisées en simulation
0.15
Ecart interquartile
BC0
0.10
BC0.3
BC0.5
BC1
0.05
X3 X1 X2 X4
F IGURE 5.4 – Boxplots (quantiles 5, 25, 50, 75 et 95%) des écarts interquartiles des distributions
marginales des paramètres transformés obtenus avec le calage bayésien (MCMC).
La disponibilité des codes de calcul au sein de l’équipe nous a permis d’obtenir des simula-
tions avec dix-sept modèles hydrologiques (voir Table 5.1) précédemment utilisés et décrits
par Perrin (2000), Perrin et al. (2001) et Mathevet (2005). Nous avons suivi la même démarche
que celle décrite dans l’étude de Velazquez et al. (2010) :
– Chaque modèle est calé avec le critère de Nash-Sutcliffe calculé sur les racines des
débits (NSV).
– La loi gamma est utilisée pour modéliser la distribution prédictive à chaque pas de
temps ; ses deux paramètres sont estimés selon la méthode des moments, c’est-à-dire
en calculant la moyenne et l’écart-type de la distribution des débits simulés à chaque
pas de temps par l’ensemble des modèles hydrologiques.
5.5. Méthodes de post-traitement statistique 79
TABLE 5.1 – Liste des dix-sept modèles hydrologiques utilisés pour l’approche multi-modèles.
Voir Perrin (2000) pour plus de détails concernant les versions de ces modèles.
Avant que cette thèse ne débute, une méthode empirique de quantification de l’incertitude
prédictive a été proposée au sein de l’équipe d’hydrologie d’Antony par Claude Michel, et
testée dans le cadre d’un stage de DEA (Berthier, 2005). Cette méthode consiste à décrire la
distribution empirique des erreurs relatives en fonction des valeurs du débit simulé par un
modèle hydrologique ; des quantiles de la distribution empirique des erreurs relatives sont
estimés par tranches de débits. Ces quantiles sont des coefficients multiplicatifs qui peuvent
être utilisés pour définir les intervalles prédictifs en fonction du débit simulé par le modèle.
Pour un intervalle prédictif à 90% par exemple, les bornes de l’intervalle seront définies à
partir des quantiles d’ordre 0.05 et 0.95.
Comme ces quantiles dépendent de la tranche du débit simulé sur lesquels ils ont été esti-
més, il est nécessaire de définir une manière de tenir compte des cas d’extrapolation ; nous
80 Chapitre 5. Présentation des méthodes utilisées en simulation
avons choisi d’utiliser une extrapolation à valeur constante. Par ailleurs, nous avons fixé à
10 le nombre de tranches de débits sur lesquelles les quantiles sont estimés. Il s’agit d’un
compromis entre le fait que le nombre de valeurs disponibles sur une période de cinq ans est
limité, et la nécessité de décrire de manière suffisamment fine les variations des distributions
d’erreurs en fonction du débit simulé.
Afin de mettre en évidence l’intérêt d’utiliser différentes tranches de débits, nous avons testé
une version simplifiée de la méthode CemaM, la méthode CemaO, qui ne considère quant à
elle qu’une seule tranche de débits.
La méthode proposée par Montanari et Brath (2004) utilise un modèle statistique appelé
méta-gaussien, introduit en hydrologie par Kelly et Krzysztofowicz (1997), pour décrire la
relation statistique entre un débit simulé et l’erreur prédite. Le modèle méta-gaussien est
construit autour de la transformation en quantiles normaux, une transformation empirique
et non-paramétrique qui permet d’obtenir des densités marginales gaussiennes. Montanari
et Brath (2004) proposent de caractériser la dépendance entre les deux variables par une
régression linéaire dans le domaine normal, et d’en déduire par transformation inverse les
intervalles prédictifs du débit.
Montanari et Grossi (2008) ont présenté une modification de la méthode, que nous avons
utilisée. Le modèle méta-gaussien est appliqué séparément aux erreurs positives et négatives,
et la densité prédictive finale est construite comme une densité mélange. Une régression
linéaire est utilisée dans le domaine normal pour modéliser séparément ces erreurs, de
manière à obtenir des distributions prédictives des erreurs qui évoluent en fonction de la
valeur du débit simulé.
Dans la méthode proposée par Coccia et Todini (2011), Model Conditional Processor, la
variable aléatoire prédite par le modèle statistique utilisé n’est pas l’erreur mais le débit.
L’approche consiste donc à estimer la distribution prédictive du débit observé en fonction
du débit simulé. Les auteurs proposent d’utiliser le modèle méta-gaussien pour obtenir une
distribution jointe multi-variée qu’ils supposent multi-normale, ce qui revient à utiliser une
régression linéaire entre les débits simulés et les débits observés dans le domaine normal.
5.6. Synthèse 81
L’objectif de l’étude présentée par Weerts et al. (2011) était d’estimer l’incertitude globale
d’un système de prévision des crues à partir d’une analyse des propriétés statistiques des
séries temporelles des erreurs. La régression quantile est utilisée pour caractériser la relation
entre les deux variables préalablement transformées dans le domaine normal. La régres-
sion quantile, introduite à l’origine en économie, permet de s’affranchir de l’hypothèse de
normalité des résidus habituellement formulée pour les modèles de régression linéaire, et
d’étendre les techniques de régression aux quantiles. Elle permet de décrire la variation des
quantiles d’une variable d’intérêt – en l’occurrence l’erreur résiduelle – en fonction d’une
variable explicative – ici la hauteur d’eau simulée –, et donc d’estimer des marges d’erreurs.
Nous avons également appliqué différentes variantes d’une méthode que l’on peut considérer
comme une méthode de référence. Il s’agit de faire l’hypothèse que les erreurs additives
suivent une distribution gaussienne, de moyenne nulle et dont la variance est égale à la
variance empirique des erreurs estimée sur la période de calage. Les variantes de cette 5
méthode utilisent des transformations de Box-Cox, de manière similaire à ce qui est réalisé
dans le cadre du calage bayésien. Nous les noterons BC0 , BC0.3 et BC0.5 . Pour conserver une
cohérence dans les acronymes utilisés, nous désignerons la méthode de référence, sans
transformation de Box-Cox, par le terme BC1 .
5.6 Synthèse
Ce chapitre avait pour objectif de présenter les différentes méthodes que nous avons testées
dans un contexte de simulation. Nous avons d’abord décrit la manière dont les deux méthodes
liées à l’estimation des paramètres, la méthode GLUE et l’approche bayésienne, ont été
appliquées. Nous avons ensuite présenté deux autres approches, l’approche multi-modèles
et l’approche de post-traitement, pour laquelle différentes méthodes ont été mises en œuvre.
Ces quatre approches sont résumées à l’aide d’une illustration sur la Figure 5.5.
Bien sûr, aucune comparaison ne peut prétendre à l’exhaustivité, et nous avons dû faire des
choix quant aux modalités d’application de ces méthodes. Ces choix influencent inévita-
blement les résultats que nous présentons au prochain chapitre. Nous avons néanmoins
tenté de rendre compte de l’impact de ces choix en réalisant plusieurs expériences pour les
82 Chapitre 5. Présentation des méthodes utilisées en simulation
GLUE
X2
Ensemble de
jeux de
paramètres
X1
Approche
bayésienne
Ensemble de
X2
jeux de
paramètres +
modèle d’erreurs
résiduelles X1
Approche multi-
modèles M1 5
M2
Ensemble de M3
modèles
M4
Post-traitement
Modèle d’erreurs M
résiduelles
F IGURE 5.5 – Illustration des différentes méthodes testées dans un contexte de simulation.
Pour la méthode GLUE et l’approche bayésienne, des paramètres (en rouge) sont sélection-
nés dans l’espace des paramètres, ici à deux dimensions (X1, X2). L’approche bayésienne
utilise également un modèle d’erreurs résiduelles. L’approche multi-modèles s’appuie sur
un ensemble de simulations obtenues avec plusieurs modèles (M1–M4). Les méthodes de
post-traitement utilisent un modèle d’erreurs résiduelles.
6
C OMPARAISON DES MÉTHODES UTILISÉES EN
SIMULATION
6.1. Introduction 87
6.1 Introduction
Nous présentons dans ce chapitre une comparaison des résultats obtenus avec les méthodes
présentées au chapitre précédent. Quatre types d’approches ont été retenus et différentes
variantes ont été testées.
Nous rappelons dans un premier temps les modalités de la comparaison. Nous présentons
ensuite les résultats suivant la stratégie d’évaluation présentée au chapitre 3.
Pour cette comparaison, toutes les méthodes ont été appliquées suivant une procédure de
test classique, le calage-contrôle :
– Une période est utilisée pour estimer les paramètres, l’autre pour évaluer les perfor-
mances sur de nouvelles données.
Cette procédure de calage-contrôle permet ainsi d’obtenir des résultats en contrôle sur 6
l’intégralité de la période. Elle s’entend ici au sens large, puisqu’elle comprend à la fois
l’estimation des paramètres d’un ou plusieurs modèles hydrologiques, mais également celle
des paramètres des modèles statistiques qui décrivent l’incertitude prédictive.
– la performance globale.
Les indices de fiabilité et de finesse présentés au chapitre 3 sont dans un premier temps
utilisés ; le CRPS est ensuite appliqué en tant que score global de performance.
88 Chapitre 6. Comparaison des méthodes utilisées en simulation
Nous nous concentrons dans un premier temps sur les résultats obtenus avec les deux
approches qui s’appuient sur des ensembles de paramètres pour quantifier l’incertitude
prédictive, l’approche GLUE et l’approche du calage bayésien. Dans le cas de la méthode
GLUE, les ensembles de jeux de paramètres utilisés pour quantifier l’incertitude prédictive
varient suivant le critère de performance et la valeur seuil, tandis que dans le cas du calage
bayésien, les ensembles varient suivant la fonction de vraisemblance utilisée.
La Figure 6.1 synthétise à l’aide de boxplots les distributions des indices de fiabilité et de
finesse obtenus sur les 195 bassins considérés, pour les deux périodes de calage (haut)
et de contrôle (bas). Ces indices ne varient pas indépendamment l’un de l’autre, et les
Figures 6.2 et 6.3 permettent de visualiser ce lien. Pour faciliter la lecture de ces graphiques,
une version bornée sur [-100%, 100%] de l’indice de finesse est utilisée en abscisse ; la fonction
x
de transformation est la suivante : f (x) = 2−x .
En ce qui concerne la méthode GLUE, il apparaît que pour les trois critères de performance,
les indices de finesse augmentent lorsque la valeur seuil augmente, ce qui correspond au fait
que l’augmentation du seuil conduit à une réduction de la variabilité des paramètres. De plus,
nous pouvons remarquer pour une même valeur seuil, les distributions les plus fines sont
obtenues avec le critère NSL, tandis que les distributions les plus larges sont obtenues avec
le critère NSQ. Ceci s’explique par le fait que le critère NSL cible en priorité les bas débits,
alors que le critère NSQ cible avant tout les hauts débits. Les paramètres qui obtiennent de
bonnes performances avec le critère NSL n’apportent donc pas nécessairement la variabilité
suffisante pour simuler les plus hauts débits, ce qui explique que les distributions prédictives
soient, en moyenne, plus fines que celles obtenues avec les paramètres les plus performants
au sens du critère NSQ. Par ailleurs, l’augmentation de la valeur seuil ne semble pas avoir
un impact systématiquement positif sur les indices de fiabilité, et une grande variabilité est
constatée pour toutes les variantes testées.
Nous pouvons également constater que la variabilité apportée par les ensembles de jeux
de paramètres obtenus lors du calage bayésien (expériences MCMC_BC0 –MCMC_BC1 ) est
faible : les indices de finesse sont élevés alors que les indices de fiabilité sont faibles. Ces
résultats sont à comparer avec ceux obtenus lorsque la variabilité apportée par le modèle d’er-
6.3. Évaluation des différentes méthodes en terme de fiabilité et de finesse 89
80
50
60
CAL
CAL
0
20
Fiabα
−100
100
80
50
60
VAL
VAL
0
40
−50
20 −100
MCMC_PP_BC0.3
MCMC_PP_BC0.5
MCMC_PP_BC0.3
MCMC_PP_BC0.5
MCMC_PP_BC0
MCMC_PP_BC1
MCMC_PP_BC0
MCMC_PP_BC1
MCMC_BC0.3
MCMC_BC0.5
MCMC_BC0.3
MCMC_BC0.5
MCMC_BC0
MCMC_BC1
MCMC_BC0
MCMC_BC1
NSQ70
NSQ80
NSQ90
NSQ70
NSQ80
NSQ90
NSV70
NSV80
NSV90
NSV70
NSV80
NSV90
NSL70
NSL80
NSL90
NSL70
NSL80
NSL90
F IGURE 6.1 – Boxplots (quantiles 5, 25, 50, 75 et 95%) des indices (a) de fiabilité et (b) de finesse
des distributions prédictives obtenues avec la méthode GLUE (neuf premiers boxplots) et le
calage bayésien (MCMC), pour deux périodes de calage (haut), et deux périodes d’évaluation
(bas) de cinq ans sur 195 bassins.
6
90 Chapitre 6. Comparaison des méthodes utilisées en simulation
CAL
●
●●
●
●●●
●
● ● ●● ●
●
●●●
●
●
● ●●●●● ●●
● ●●
●●
●● ●●●
● ● ●
● ●●
50 ●●● ●
●●
●
●
●
●●
●
●
●
●●
●● ●● ● ●
●
●●
●
●
●
●
●
●
●
●● ● ●●●● ● ●●●
●●
●●●●●
●
●
●
●
●●
●●
● ●● ● ● ●● ● ●
●●
●
●
● ●
●●
●
● ● ●●●
●● ● ●● ● ●
25 ●
●
●●
●
Fiabα
0
100
● ● ●●● ● ●
●●● ● ●●
●● ●●
●●
●● ●●●●●
●●●
●
●
●●
●● ● ●● ●●●
●
●●●●
●●●
●●
●
●●●
●
●●
● ● ●
●
●
●●
●●●
●●
● ● ●●
●●●●
●
●
●●
●●●
●
●● ●●●
● ●● ●● ●
●● ●●● ●
●●● ●●
75 ●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
● ●●●
●
● ●
●
●●
●●
●
●●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●● ●●● ●
●
●
●●
●
●
●●
●●
●
●
●●
●
●
●
●
●●
●●
●
●
●
●●
●
●
●
●
●
●●
●
●●●
●
●
●●●
●●
●
●●
●
●
●●
●●
●●
● ● ●●●●●●●
●
●
●
●●●
●● ● ●●
● ●●
●●
●●●
●
●
●●
●
●
●●●
●●
●●●
●●●●●
●●
●
●
●●
●●
●
●● ●
●
●●●●●
●●●
●
●
●●
●●●● ● ● ●● ● ●●
●
●●
●
●
●●●
●●
●
●
●●
●●● ●
●●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
● ●●●●●●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●●
● ●●●
●●●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●●●
●
●●●●●●●●●
●●
●●
●●
●● ●● ●●
●●●
●●
●●● ●● ●●●●●
● ● ●●
●●
●●●
● ● ●
● ●●●●
●●
●
●
●●
● ●
●● ●●●
●
●●●
● ●
●●●
● ● ●●
●● ●●
●●●● ●
VAL
● ●
● ●●●●●
●● ●
●
●●●●● ● ●●● ● ●
●
●●
●
● ●●● ● ●● ●●
● ●
●
50 ● ● ●
●●
●●●
●
●
●●●
●
●●●
●
●
●●●●
●
●
● ●●●
● ●●
●
●●
● ● ● ● ●
● ●●
● ●
●●●●
●●
●●
●
●●●
●
●●●
●
●
●●
●
●●●
●●●● ●
●
● ●
●●
●
● ● ● ●● ● ● ●● ● ● ●
●●●●● ● ●
● ●●● ●
●●●
●● ● ● ●●●●●
●● ● ● ●● ● ●
●
●●● ●
●●●
● ● ● ●● ●● ●
●
●● ● ● ●● ● ● ● ● ●●● ●
● ● ● ●●
25 ●● ● ●
● ●
●
0
−100 −50 0 50 100−100 −50 0 50 100−100 −50 0 50 100
FineBORNE
CAL
●
●● ●● ●
●●●● ●
●●
● ●
● ●
50 ●● ●
●
●●● ●●●
●
●●
●●● ●●
● ●●● ●
●
●●● ●●
●
●●
●●●
●
●● ●●
●●
●
●●● ● ●●●●●●● ● ●●●●
●
●
●●
●● ●
●
●●● ● ● ● ●●
●● ● ● ●●●●
● ●●
●● ● ● ●
25 ●● ●
●●
●
Fiabα
0
100
● ● ●● ● ● ● ●●
●●●
● ●●●
●●
●●●
●●●●●●
●●●
●
●●
●
●● ●●●●
●
●●●●
●
●●
●
●●
●
●
●
●
●
●●
●
●● ● ●● ●●
●
●●
●
●
●
●
●
●
●
●
●●
●●
●
●●
●
● ●
●● ●
●●
●
●●●
●
●
●●
●●
● ●●
● ●
●●●●●
●●
●
●
●●
●●
●
●● ●●●●●●
●●
●●
●●
●●
●
●●
●
●●
●●
●●●●
●●
●●
●
●●●
●●
●
●
●●
●
● ● ●
●●● ●●
●
●●
●
●●
●●
●
●
●●●
● ●● ●● ●●
●●
●
●●●●
● ●
●●●
75 ●● ●
●●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●● ●● ●●
●●
●
●
●
●
●●
●
●
●
●●
●
●
●
●
●
●
●●
●●
●
●
●●●
● ●● ●● ●●●
●●●●●● ●
●●●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●●
●●
● ●
●●●
●
●
●●
●
●
●●
● ●● ●
●●●●
●
● ●
●
●
●●●● ●
●●●
●●
●●
●
●●
●
●●
●
●●●
●
● ●
●
●●●
●●
●
●
●●●
●
●
●●
●
●
●●
●
●
●
●
●
●●
●
●
●
●
● ●●●
●● ●
●●●
●
●●
●
●
●
●
●
●
●
● ●
●●
●
●
●
●
●
●
●
●●
● ● ●●
●● ● ●●●●●●●●
●
●
●
●
●
●
● ●●
●●
● ●
● ●● ● ● ● ●●●
●●●●
●●
● ●●
●●● ●
●● ●●
●●●
●
●●
●
●
●
●
●●●●
●●
●
●●
●
●● ● ●●●●
●
● ●
●
●
●
●
●●
●●●
●
●
●
●●
●
●
● ●●●●
●● ●
●●●
●●
●●
●
●
●
●
●●
●●●
●●
●●● ●
●● ●● ● ● ● ●
VAL
● ●
● ●●●
●● ●●●
● ●
● ●● ●
●●● ●
●
●●●●
50 ● ● ●●● ●
●
●
●
●
●
●●
●
●
●●
●●● ●
● ●●●● ●
●●
●
●●●
●●
●●
● ● ● ●●● ●●
●●●●
●●
●●
●
●●
●
●
●
●
●
●●●●
●
● ●●
●●
●● ●● ●●●
●
● ●
●●●
●● ● ●●●●●●●
●●
●●● ● ●
●● ●
●
●● ● ●●
●
●●
●●
● ●
● ● ●● ●●●
● ●
● ●●●●●
● ●●● ● ●
●● ●
●
●● ●
● ●●●
●●●● ● ● ● ●●●●● ● ●●
● ●● ●
● ●
25 ● ●● ●●
●
●
● ● ● ● ●●
●
●
● ●
0
−100 −50 0 50 100−100 −50 0 50 100−100 −50 0 50 100
FineBORNE
●
●●●
●●
● ● ● ●●
●
●●●
● ●
● ●●●
● ●●
●●
●●
●●
● ●
●
50 ●●●●
●●● ●● ●●●●●●●● ● ●●● ●
●●●
● ●●
●
●●
●
●●●●●●
●
●
●●●
● ● ●● ●●● ●●●
●●●
● ●
●●●
●
●
●●
●●
●●●●
●● ● ●●●●●●●●●
●
● ●
●●●● ●●●
●●
●
●
●
●
● ●● ●
●●● ●
● ●● ●
25 ● ●
●
Fiabα
0
100 ●
●
●● ●
●
● ● ● ●● ●
●●●●
●●
● ●
●●
●
●●
●
●●
● ●● ●
●●
●
●●
●●●
● ●●
● ●●
●●
●●
●
●● ●● ●
●
●●
●
●●
● ● ●● ●●
●●
●
●●●
●
●
● ●
●●
●●
●
●
●
●
●●
● ●● ●●
●●
●
●
●
●●
●●● ● ●●
●●
●
●●
●●●
●
75 ● ● ●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
● ● ● ●●●●
●
●
●
●●
●
●
●
●
●
●
●
●
●●
●
●
●
●●●
● ● ●●●● ●●●●
●●
●
●
●
●●
●
●
●●
●
●
●
●
●●
●
●
●
●●
●●
●●
●
●
●
●●
●
●●
● ●●
● ●
●
●●●
●●
●
●●
●
●●
●●
● ● ● ●●● ●
●●●
●●
●
●●
●●
● ●
●
●●● ● ●●●
●●
● ● ●●
●● ●
●● ● ●●●●
●●●
●
●●●
●
●
●
●
●
●
●
●●●
●
●
●●
●
●
●
●
●●
●
●
●●● ● ●●●●
●●●●
●
●
●
●
●
●
●
●
●●
●
●
●
●●
●
●
●
●● ●●●●●●
●
●●● ●
●●
●
●
●
●
●
● ●●
●●
●●
●
●
●●
●●
●● ●●●●
●●
●●●
●●
●●
●
●●
●
●●
● ● ●●●● ●●
●● ●●
●●●
●
●
●●● ●
●
●●●
●
●●
●
●●
●
●
●●
● ● ●●●●●
●● ●
●
●●
●
●●
●
●●
●
●
● ●
● ●●● ●●●
●●
●
●●
●●
●
●
●
●●●
●●
● ●
●● ●● ●● ●●● ●
● ●● ● ● ●
VAL
●● ●● ●●●
●●
●●
●●●
● ● ● ●
●●
●●● ●
●●
●●●
●●
●
●●
●
●●
●●●
50 ● ●●
●●●
●●●●
●●
●●●
●
●
●
●
●
●
●
●●
●●
●● ●
●●
●
●
●
●●
●
●
●
●
●
●
●●
●
●●
●
●●●
● ●
●●●●● ●
●
●
●
●
●
●
●●
●
●●
●
●
●
●
●
●
●●●
●
● ●●●
●
● ●●
●●●●
●
●●●●● ● ● ●●● ●
●
●●●● ● ●●● ●
● ●
●●
●
●●
●
●●●●●●●
● ● ● ●●●
● ●●
●
●●●
●
●●●
●
● ●●
●
●●
● ● ●●● ● ●●●●
● ●
●
●
●●
● ● ●
● ● ● ●● ● ●● ● ● ● ●
●● ● ● ●●● ●● ● ●● ●●●●●● ●
25 ● ● ● ● ● ● ● ●● ● ●
● ● ●
●●
●
0
−100 −50 0 50 100−100 −50 0 50 100−100 −50 0 50 100
FineBORNE
F IGURE 6.2 – Diagrammes en nuage de points entre les indices de fiabilité et de finesse obte-
nus avec la méthode GLUE pour différents seuils d’efficacité (de haut en bas, correspondant
à 0,7, 0,8 et 0,9 fois la valeur maximale), pour deux périodes de calage (haut), et deux périodes
d’évaluation (bas) de cinq ans.
6.3. Évaluation des différentes méthodes en terme de fiabilité et de finesse 91
Les résultats obtenus avec le calage bayésien varient suivant la transformation de données
utilisée. Cette sensibilité reflète d’une part la sensibilité du calage des paramètres hydro-
logiques au critère de performance, et d’autre part la sensibilité du modèle d’erreur à la
transformation des données. L’estimateur des moindres carrés présente la particularité d’ob-
tenir les distributions prédictives les plus fines lorsque seule l’incertitude liée à l’estimation
des paramètres est propagée, mais les plus larges lorsque l’incertitude totale est considérée.
Cela semble confirmer l’intérêt d’utiliser une transformation de données pour tenir compte
de l’hétéroscédasticité des erreurs.
Nous examinons à présent les résultats obtenus avec les approches qui utilisent la comparai-
son entre les débits simulés par le modèle GR4J et les débits observés. Le modèle GR4J a été
calé avec le critère de performance NSV.
La Figure 6.4 présente les indices de fiabilité et de finesse obtenus avec les neuf méthodes de
post-traitement présentées au chapitre précédent, et la Figure 6.5 illustre les covariations de
ces deux indices. 6
Les quatre premières méthodes, BC0 , BC0.3 , BC0.5 et BC1 , utilisent les mêmes modèles d’erreur
que les quatre variantes du calage bayésien. Nous constatons que des résultats similaires
sont obtenus pour les méthodes BC0.5 et BC1 , mais que des différences significatives existent
pour les méthodes BC0 , BC0.3 . Ces différences s’expliquent par :
– le fait que les paramètres optimaux du modèle hydrologique ne sont pas identiques –
sauf pour la variante BC0.5 qui correspond à un critère NSV –, puisque le calage bayésien
ne dissocie pas critère de calage et modèle d’erreur ;
Les quatre méthodes MeGa, MCP, RQ et CemaM présentent des indices de fiabilité élevés
en calage, mais bien plus faibles et variables sur les périodes de contrôle. Ces diminutions
ne concernent pas uniquement ces quatre méthodes – nous pouvions déjà noter une dimi-
nution générale des indices de fiabilité pour la méthode GLUE et le calage bayésien –, mais
92 Chapitre 6. Comparaison des méthodes utilisées en simulation
75
● ●
●
● ● ● ●●
CAL
●
●●
●
●●
●
●
●
●
●● ●●●●
●●
●
●
●
●● ● ●
●
●●
●
●
50 ●
●
●
●
●
●●
●
●
●
●
●
●●
● ●●
●
●
●
●
●
●
●
●
●
● ●●
●●
●
●
●
●●
●
●
●
●
●
●
●●
●●
●
●
●
●● ●
●●
●
●
●
●● ●●
●●
●
●●
●
●
●
●
●●
●
●● ●●
●
●
●●
●
●
● ● ●
●●
●●
●
●
●
●●● ●
●
●●
●
●
●
●
● ●●●●
●
●●
●
●
●
●
● ●●●●
●●
●● ● ●●●
●
●●
●
●
●
● ●
●●
●
● ●● ●
●
●
●
●●
●
●
●
● ●●●● ●
●
●●
●
●
●●
25 ●●●
● ●●●
●
●
●
●
●
●
●
●
●
●
●
●
●
Fiabα
0
100
75
● ●
●●●
●●
●
●
● ●●
VAL
●●●
●
●●
●
●
●
● ●
● ●
●
●
●●
●
●
●
●
● ●●●●
●
●
●
●●
●
●
●
50 ●●●
●
●
●
●
●●
●
●
●
● ●●●
●
●
●●
●
●
●
●
● ●●
●
●
●●
●
●
●
●●
● ●
●●
●
●
●
●
●
●
●
●
●
●
●
●
● ●●●
●●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●● ●●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●●●
●
●●
●
● ●●●●
●
●●
●
●
●
●
● ●
●
●
●●
●
●
●
●●
●●
●
●
● ●
●●
●●
●
●●
●
● ● ●● ●
●
●
●
●●
●
●
●
●
●●
●
●
●
●●
● ●
●
●
●●
●
●
●
●
● ● ●●●
●●
●
●
●●
●
●
●
●
●
●●●
● ●●●●●●
●
●
● ●●●●
●
●
●●
●
●
●
25 ●
● ●
●
●●●
●●
● ●●
●
●●
●
●● ●
● ●●●
●
●
● ●●
●●
● ●●●●
●
●
●
●
●
●
●
●
●
●● ● ●● ●
●●
●
0
−100 −50 0 50 100−100 −50 0 50 100−100 −50 0 50 100
FineBORNE
CAL
● ●● ●
50 ● ●
●
25
Fiabα
0
100
●●●●●
●●●
●
●●●
● ●
● ●●●
●●●
●
● ●
●●
●●
●●● ● ●
●●●
●●●●●
●
●●●●●●
●●
●
●●
●●
●●
●●
●
●●
●●
●
●●
●●
●
●
●●
●
●
●●
●● ●
●●
●●
●●
●
●●
●
●●
●●
●
●●●
●●
●
●●
●●●●
●●●● ●●● ● ●●●●●
●
●● ●● ●
●
● ● ●
●●
●●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
● ● ●●●●●●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
● ●●● ●●
●●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●●
●
●●
●●
●
●
●●●
●●●●
●
75 ● ● ●●
●● ●
● ●
●●
● ●
●●●
●
● ●
● ● ●● ●
●●●
●●●
● ●
●● ●●●
●●●●●
● ● ●●
●
●
● ●
●
●●
●●
●
●●●
●
●●
●
●●
●●●
●●
●●
●
●●
●●
●●
●
●
● ● ●●●●●
●●● ●
●
●●
●
●
●
●
●
●
●●
●
●●
●
●
●●
● ● ●●● ●●●
●●
●●
●
●
●
●
●
●●
●
●●
●
●
●
●
●●
●
●●
●●
●
●●●
●
● ●●●●
● ●●
●
●
●
●●
●●
●●
●
●●
●●
●
●
●
●●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●●
●
●
●
●●●
●●●●
●
●●● ● ● ●●●
●
●
●●
●●●● ●●●● ● ●
● ●
●●
● ●
●
●●
● ●●
● ●● ●● ●● ●
●●●●
● ●●●●
●
●
●●
●
●●●●
●
●●
●●●
●●
●
●●
●●●●●●
●
● ●●
●●●●
●●●
●
● ● ● ●●●
●●●● ● ●
●● ●●●
●● ●● ●
●●
●
●● ●
●●
● ●●●●● ● ● ●
●●● ●
●●● ● ●
● ●● ●●● ●
●●
●●●
● ●
●●●
●●
●● ● ●●●●●● ●
●●●
●● ● ●
●● ● ● ●
●
● ●●
● ● ●
●● ●
●●● ●● ● ● ● ● ●● ●●●● ●●
VAL
● ●● ● ●● ●● ● ● ●● ●●●● ● ●●●●● ● ● ● ●●●●●●●
● ●● ●●
50 ●● ●●●●●
● ● ● ●●●● ●
●● ● ●●●● ● ●●
● ●● ● ●● ●● ● ● ● ● ●
● ● ● ● ● ●● ● ● ● ●
●
● ●
25 ●
● ● ●
0
−100 −50 0 50 100−100 −50 0 50 100−100 −50 0 50 100
FineBORNE
F IGURE 6.3 – Diagrammes en nuage de points entre les indices de fiabilité et de finesse
obtenus avec le calage bayésien (MCMC), pour deux périodes de calage (haut), et deux
périodes d’évaluation (bas) de cinq ans. Les indices obtenus avec la transformation BC0.3
sont similaires à ceux obtenus avec la transformation BC0.5 , et ne sont pas présentés pour
faciliter la visualisation.
6.3. Évaluation des différentes méthodes en terme de fiabilité et de finesse 93
apparaissent plus nettement en raison des valeurs élevées obtenues en calage. Cela indique
que les caractéristiques des erreurs ne sont pas totalement (robustement) extrapolables entre
la période de calage et la période de validation (contrôle).
50
80
CAL
CAL
0
−50
−100
Fiabα
100 100
50
80
0
VAL
VAL
60 −50
−100
CemaM
CemaM
CemaO
CemaO
MeGa
MeGa
BC0.3
BC0.5
BC0.3
BC0.5
MCP
MCP
BC0
BC1
BC0
BC1
RQ
RQ
F IGURE 6.4 – Boxplots (quantiles 5, 25, 50, 75 et 95%) des indices (a) de fiabilité et (b) de finesse
des distributions prédictives obtenues avec neuf méthodes de post-traitement statistique,
pour deux périodes de calage (haut), et deux périodes d’évaluation (bas) de cinq ans sur
6
195 bassins.
Ainsi, le net avantage apporté par la flexibilité de la méthode CemaM semble disparaître
sur les périodes indépendantes de contrôle, et des indices de fiabilité semblables sont alors
94 Chapitre 6. Comparaison des méthodes utilisées en simulation
obtenus avec les méthodes MCP, RQ et CemaM. Il n’en reste pas moins que la méthode
CemaM reste à de nombreux égards plus simple.
En terme de finesse, les résultats indiquent que les méthodes BC0.3 , BC0.5 MeGa, RQ et
CemaM produisent en général les distributions les plus fines, tandis que la méthode BC1 se
distingue en présentant des indices de finesse très variables et négatifs dans plus de 25% des
cas.
Nous nous intéressons à présent aux résultats obtenus avec l’approche multi-modèles. Pour
rappel, les dix-sept modèles utilisés (voir Velazquez et al., 2010) ont été calés avec le critère
de performance NSV, et une loi gamma a été estimée à chaque pas de temps par la méthode
des moments.
La Figure 6.6 présente les indices de fiabilité et de finesse obtenus, et la Figure 6.7 illustre les
covariations de ces deux indices.
Nous constatons que les indices de fiabilité et de finesse sont assez semblables à ceux obtenus
avec les méthodes de post-traitement les plus satisfaisantes, à savoir la méthode RQ et la
méthode CemaM. Les indices de fiabilité semblent légèrement plus faibles, et les indices de
finesse légèrement plus forts.
Il est particulièrement intéressant de noter une diminution des indices de fiabilité pour les
périodes de contrôle par rapport aux périodes de calage. Ce résultat peut sembler contre-
intuitif dans la mesure où la variabilité des distributions prédictives ne dépend que de la
variabilité des simulations obtenues avec les différents modèles, et ne fait pas l’objet d’un
apprentissage statistique sur une période donnée. On remarque d’ailleurs que les indices de
finesse diminuent sur les périodes de contrôle, ce qui indique que la variabilité augmente ;
c’est la conséquence du passage d’une période de calage, où les simulations sont contraintes,
à une période indépendante de contrôle, où les simulations ne sont plus contraintes. Ces
résultats suggèrent que la diminution des indices de fiabilité est principalement attribuable
aux pertes de performance des modèles pluie-débit utilisés pour créer l’ensemble prédictif.
6.3. Évaluation des différentes méthodes en terme de fiabilité et de finesse 95
CAL
50 ●● ● ●●● ●●● ●● ●
●● ●●●● ●●
●
●●
●
25
Fiabα
0
100 ● ● ●
● ●
●
●●●●● ●●●
●●● ●
●
●
●●●
●
●
●●●
●●
●
● ● ●
●●●●●
● ● ●●● ●
●● ● ●● ●●
●●●●
●●
● ● ● ●●
●●●●●
●
●●●● ●●● ●●● ● ● ●
●●● ● ●
●● ● ●
●
●●●●
●●
●
●
●●
●●
●●
● ●
●●
●●
●
●
●
●●
●●●●
●●
●
●
●
●
●
●
●●
●● ● ●●●● ●●
●
●
●
●
●
●●●●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●●●
●●●
● ●● ●
● ●●
●●
●●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●●
●
● ●● ●
●●
●
●●●●●
●●●
●
●●●
● ●
●
●●
●
●
●
●●
●
●
●●
●
● ●
●
●●
●●
●
●●●●● ●
●
●
●●
●●
●
●
●●
●
●●
●
●
●●
●
●●
●
●
●
●
●
●
●
●●
●●
● ●●●
● ● ●
●●
●
●●
●
●
●●
●●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●●
●
●●
●
●●
●
●●
●●
●
●
●
75 ●● ● ● ●●●
●
●●●●●●●●
●
●● ●
●●
●●●● ●
●
●●●
●●●●
●
●●●● ●●●● ●●
● ● ● ●
●
●● ●●
●●●
●●●
●
● ●●
●
●●●
●●●
●●
●
●
●●
●
●
●●●●
●
●
●
●●●
●
●●●●●
●
●● ●
●●
●
●●●
● ●
●●
●
●
●
●
●●●
●●
●●
●●● ● ●●●●●
●●
●
●●
●●
●●●
●
●●
●
●●
●
●
●
●
●
●
● ●
●
●
●
●●
●
●
● ●●●●● ●●● ●● ●
●●●
● ●●● ● ●●
●
● ●●
●
●● ● ● ●
●
● ●
●●
●● ●●● ●●
●
●
● ● ●
●●
●● ●● ●●●●
● ●
●●
●
●●●●●
●
●
●●
●●●
●●●●
●●
●
●●
●●
●
●
●
● ●●
●●●●
●●
● ● ●●●●●●●
●● ●
●●●
●
●
●
●
●
●
●
●●
●●●
●
●●●
●●
●
● ● ●●
● ●● ●●●●●● ●
●
●●●
●
●
● ● ●
●●
●
●
● ●●●●
● ●●
● ● ● ● ● ●● ● ●●● ● ●
●●●●●
●●● ● ● ● ● ●
● ● ●● ●● ● ●
VAL
●●
●●●
● ●●●
● ● ● ● ●
●●● ● ●● ● ●● ●●● ●● ● ● ●
50 ● ●
● ● ● ●● ●●● ● ● ●● ●●● ● ●●●
● ● ●●● ●● ●●●●●●
●
● ●● ● ●
●
● ● ●●
●● ● ● ● ●
● ●● ● ●● ●● ●●
● ●● ● ●
● ●● ● ● ● ● ●● ● ●
● ● ●
● ● ●
25
● ● ●
0
−100 −50 0 50 100−100 −50 0 50 100−100 −50 0 50 100
FineBORNE
CAL
50 ●● ●
●
25
Fiabα
0
100 ●● ● ●
● ●● ●
●●● ● ●● ●●●●
●●
● ●
●●
●●●●●
● ●●
●●
●
●●
●
●
●
●
●●
●●●
●
● ●
●
●● ●●
●●●●●●
●●
●
●
● ●
● ●
●●●
● ●
● ●●●●●● ●● ●
●●●●
●● ●
●●●●●●●
●● ●●●●● ●●●●● ●●
●●
●
●
●●
●
●
●
●
●
●●
●●
●
●●
●
●
●●
●
●●
● ●
● ● ●
●●●
●
●
●
●
●●
●●
●
●
●
●
●
●
●●
●●
●
●
●
●●
●● ●● ● ●
●●
●●
●
●● ●●
●
●●● ●●●
● ● ●●● ● ●●
●●●
●●
●
●●
●●
●●
●●●
●
●● ● ● ● ●
●● ●● ●
●●● ●
● ●
●●●●
●
●●●
●
●
75 ●●
● ●
●●
●
●●
●
●●
●
●●
●●
●●
●
●●
●
●●
●
●
●
●●
●
●●
●
●
●●●●●
●●●
●● ●
●●●●
● ●●
●
●●
●●
●
● ●
●
●●●
●
●●
●
●● ● ● ●●●● ●
●
●●●●●
●
●●
●
●
●●●
●●●
●●
●●●
●●●
● ●●
●●
●
●●
●
●
●
●
●●
●●
●
●
●●
●
●●
●
●
●●
●
●●
●●
●
●●
●
●●
●
●
●●●
●
●
●●●
●
●
●
●●●●
●
● ●
●
● ● ● ●● ●
● ●
● ●
●
●●●
●
●
●
●
●●
●
●
●●●
●
●
●
● ●
●
●
●●●
●
● ●●● ●●●●●
●
●
●●●●
●●
●●
●●●●
●
●●●
●
●
●●●
●
●
●●
●
●
●
●
●●●
●
●●
●
●●
●●
●
●
●
●
●
●
●●
●●
●
●
●
●
●
●
●●
●●●
●●
●
●
●
●
●●●●● ● ●●● ●●
● ●●
●●●●
● ●
●●
●●
●
●●
●
●
●
●
●●
●
●●●
●
● ●● ●
●●●
●
●●●
● ●
●●●
●
●●
●
●●
●
●
●
●
●
●●
●●●
●
●
●
●●
●
● ●●●●● ● ● ● ●●●●●●●●
● ●●●●● ● ● ● ●●● ●●●
●●●
●
●
●
●
●
●●
●
●●
●
●●
●
●●
●
●● ●● ●●● ●●●
●
●
●● ●
●
●
●
●●●●
●
●●●
●●
●
●●●
●
●●
●●
●
●
●
● ●
●●● ● ●●● ●● ●●● ●●● ● ●● ● ● ●●●●● ●
●●●●
●●●●●
VAL
●● ●●●●
50 ● ●●● ●● ●● ●
●●●●● ●●●
●
● ●●●● ●
●●
● ●
●●●● ●● ●● ●
●● ●●
● ●● ● ● ●● ●●
● ● ●
●
● ● ● ●● ● ● ● ●
● ● ● ●●●●●●
● ● ●
25 ● ●
●● ●
● ●
0
−100 −50 0 50 100−100 −50 0 50 100−100 −50 0 50 100 6
FineBORNE
MCP RQ CemaM
100 ●●●● ●
●●
●●
●
●●
●●
●
●●
● ●
● ●● ● ●
● ●
●●
●
●
●● ●
●
●●●
●
●●
●
●●●
●
●
●●
●
●●
●
●●
●
●
●●
●●
●
●●
●
●
●●
●●
●
●
●●●
●
●
●
●●●
●●
●
●
●●●
●●
●
●
●●
●
●●
●●●
●
●
●
●●●
●
●
●
●
●●●
●
●●●
●
●
● ●●
●
●● ●
●
●●
●●
●
●●
●
●
●●
●
●●
●
●
●●
●
●●
●
●
●
●●
●
●
●●
●
●
●
●
●●
●
●
●●
●
●
●●
●
●
●
●
●●
●●
●●
● ●●
●
●● ●
●
●●●
●
●
●●
●
●●
●
●
●
●
●
●●
●●
●●
●
●
●●
●
●
●
●●
●
●●
●
●●
●
●
●●
●
●
●●
●
●
●●
●
●● ● ●●●
●●●●●●●●
● ● ●●● ● ●● ●●●
●
●●
●●
●●●
●●
●
●
●●●
●
●●
●
●
●
●●●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●●
●
●
●
●●
●
●
●●
●
●
●●
●
●●
●●
●● ●● ●
●●
●●
●
●●
●●●
●
●
●●
●
●
●●
●
●
●
●●
●
●
●●
●
●
●
●●
●
●●
●
●
●
●●
●
●●
● ● ●●● ●
●
●
●●
●●●
●
●●
●
●
●●
●
●● ● ●
●
●
●●
●
●●
●
●●
●
●
●●
●
●
●●
●●
●
●
●●
●
●●●
●
75
● ● ●●●●
●
●
●
CAL
50
25
Fiabα
0
100 ●●●
●●
● ●
●● ●●
●●● ●●●
●●●
●● ●
● ●●
●
●● ●
●
●●
●
●●●
● ●
●● ●●
●●●●●
●●
●●●
●●●
●
●● ● ●● ●
●●●
●
●●
●●
●●
●●●
● ●
● ● ●●●
●● ●●● ●
●●
●●
●
●●●●●
●●●
●●
●
●●●
● ●
●
●●●
●
●
●
●
●●
●
●
●●
●
●●
●
●
●●
●●
●
●
●
●
●
●
●
●
●
●
●●
●
●●
● ● ●●●●●
●
●
●
●●
●
●
●●
●
●
●●
●
●
●
●
●
●
●●
●
●
●
●●●
●
●
●
●●
●
●●● ●●● ●
●●
●
●
●
●●
●
●●●
●
●
●●
●
●
●
●●●
●
●
●
●●
●
●
●●
●
●
●
●
●
●
●
●●●
●●●●
●●
●
●
●●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●●
●
●
●
●
●
●●
●
●●●●
●
●●
●
●●
● ●
●●●●●●
● ●
●●
●
●
●
●
●
●●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
● ●
●
●●●●
●
●●●● ●●
●●
●
●●
●
●
●
●
●●
●
●●
●
●
●
●
●
●
●
●
●
●●
●●
●
●●
●
75 ●●
● ●
●●
●
●●
●● ●●
●
●
●●
●
●●
●
●●●
●●
●●
●
●●●
●
● ● ●
●●
●●
●●
●
●●●
●●
●
●●
●●
●
●●●
● ●● ●●●●
●
●●●
●●●
●●
●●
●●●●
● ●●
●●●●●●
● ●
●
●● ●
●
●●
●●
●
●
●
●●●●●
● ●●● ● ●●●●
●
●
●●
●
●●
●●
●
●
●
●
●●
●
●●
●●
●●
●
●●
● ● ●● ●●●●
●●
●●
●●●●
●●
●●
●
●●
●
●
●
●
●
●●
●
● ● ●● ● ●● ● ●
●●●●
●● ● ●●●
● ●● ●●
●●
● ●● ● ●
●●●
●● ● ●
●● ●
●●●
●●
●
●
●
●●●
● ● ●●●●
● ●●
●●●
●●
●●
●●
●●
●●
●● ● ● ●
●●● ● ●●
●●● ●●
●●
●●●●●●●
● ●
● ●●● ● ●
●
●
●●
● ● ● ●●● ● ● ●
●●
● ●●●
● ● ●●●
●●●● ●
●● ●●● ●●● ●●● ● ● ● ●●
● ●●●
●● ●●● ●
●●
● ● ●● ● ●●
●● ●● ●
VAL
●● ● ●●● ● ●●● ●●
50 ● ●● ● ● ● ● ●●● ● ● ●●
● ●
●
●● ● ● ●
●● ●● ●
●
●● ●
●●
● ● ●
25 ● ● ● ●
●● ● ● ●
●
● ●
0
−100 −50 0 50 100−100 −50 0 50 100−100 −50 0 50 100
FineBORNE
F IGURE 6.5 – Diagrammes en nuage de points entre les indices de fiabilité et de finesse
obtenus avec neuf méthodes de post-traitement statistique, pour deux périodes de calage
(haut), et deux périodes d’évaluation (bas) de cinq ans.
96 Chapitre 6. Comparaison des méthodes utilisées en simulation
80 75
CAL
CAL
70 50
60
50
Fiabα
100
90
80 75
VAL
VAL
70 50
60
25
50
0
M.GAMMA
M.GAMMA
F IGURE 6.6 – Boxplots (quantiles 5, 25, 50, 75 et 95%) des indices (a) de fiabilité et (b) de
finesse des distributions prédictives obtenues avec l’approche multi-modèles, pour deux
périodes de calage (haut), et deux périodes d’évaluation (bas) de cinq ans sur 195 bassins.
6.3. Évaluation des différentes méthodes en terme de fiabilité et de finesse 97
M.GAMMA
100
●●●
●● ●
● ●●●●● ● ● ●
● ●●●●● ●
●● ●
●●●●
●
●
●●
●
●●●●● ●
●
●●●
● ● ●
● ● ● ●●
●●
●
●●●●
●
●
●●
●●
●●●●●●
●
● ●
●
●
●● ●● ●
●● ●
●
●● ●●
●●
●
●●
●●
●● ●●
●
●●
●● ● ●●● ●●
●
●
● ●
●
●●
●●
●●●
●●
●●
● ●
●●
●●
●●
●
● ●●● ●
●● ●●
● ●
●● ●●
●
●
●
●●
● ●●●
●●
●●
●
●
●●
●●●
● ●●●
●
●● ●●●
● ●●●●●●●
● ●● ●
●●●● ●●
● ● ●
● ●● ●●
●● ●●
●● ●
●●
●
●
●●
●●
●
●●●
75 ● ●●● ● ● ●●
●●●●● ●
●
●
●●●●
● ●●
● ●● ● ● ● ●● ●
●
● ●●●●● ●●● ● ●● ● ●
● ● ●● ● ● ●●●● ●●
● ●● ● ●● ●
●● ● ●
●
● ● ● ● ●●
● ●
●
● ● ● ●● ● ● ●
● ●
CAL
50 ● ●
25
0
Fiabα
100
● ● ● ●● ●
●●● ● ● ●●
● ●●● ● ●● ●●● ●
● ● ●●●●●●●● ●● ●
●●● ●●●● ●
●● ● ●●●●●●●
●● ●●
● ●●● ● ●●
● ● ● ● ● ●● ●● ●●
●●
●● ● ●
● ●● ● ●● ●●
● ● ●
● ● ● ●
● ● ●
●● ●● ●●●
●
●
●
●●●● ●●
●●●●●
●●
●
●●●●
●●
●
● ● ● ●
● ●●●
● ●● ●●●
75 ● ●
●● ●● ●●
● ●
● ●●
●
● ●● ● ●● ●●● ●●
●
●●●
●●●●●
●
●
●
●
●●
● ●●● ●●●●
●
●● ●● ● ●●
●●●
● ●● ●
● ●
● ● ●●● ●
●●●● ●
●
● ●●●●● ●●
●● ● ● ●● ●
●● ● ● ● ●
●●● ●● ●
●
● ●● ●
●
●● ●●
● ●● ● ●●●●●●● ●
● ● ● ●●● ● ●●● ●● ●●●
● ●● ● ●● ●● ● ● ●
●● ● ● ● ●● ● ●
● ● ●●● ●
VAL
50 ●●
● ● ● ● ● ●● ● ●
● ●●
● ● ● ●
● ● ●
● ●● ●● ● ●
● ●
25 ●
●
● ●
FineBORNE
F IGURE 6.7 – Diagrammes en nuage de points entre les indices de fiabilité et de finesse 6
obtenus avec l’approche multi-modèles pour deux périodes de calage (haut), et deux périodes
d’évaluation (bas) de cinq ans.
98 Chapitre 6. Comparaison des méthodes utilisées en simulation
Nous abordons à présent l’analyse des performances globales des méthodes de quantification
de l’incertitude prédictive. La performance globale est quantifiée par le score de compétence
CRPSS. Nous cherchons à mettre en évidence les méthodes les plus performantes.
CAL VAL
M.GAMMA
CemaM
CemaO
RQ
MCP
MeGa
BC1
BC0.5
BC0.3
BC0
MCMC_PP_BC1
MCMC_PP_BC0.5
MCMC_PP_BC0.3
MCMC_PP_BC0
MCMC_BC1
MCMC_BC0.5
MCMC_BC0.3
MCMC_BC0
NSQ90
NSQ80
NSQ70
NSV90
NSV80
NSV70
NSL90
NSL80
NSL70
0 25 50 75 100 0 25 50 75 100
CRPSS
F IGURE 6.8 – Boxplots (quantiles 5, 25, 50, 75 et 95%) des indices de performance globale
obtenus par l’ensemble des méthodes testées, pour deux périodes de calage (gauche), et deux
périodes d’évaluation (droite) de cinq ans sur 195 bassins.
La Figure 6.8 présente les boxplots des indices de performance obtenus avec les vingt-sept
méthodes testées, sur les périodes de calage et de contrôle. Nous pouvons remarquer que :
– Les méthodes les moins performantes sont celles liées au formalisme GLUE ; seules les
6.5. Synthèse 99
Nous avons calculé les coefficients de corrélation des rangs de Spearman entre les couples de
performances obtenues avec la méthode CemaM et les autres méthodes ; ils sont supérieurs à
0.8 dans 22 cas sur 26 – seules les méthodes NSL70 , NSL80 , NSL90 et NSV70 présentent de plus
faibles coefficients. Ces résultats suggèrent qu’il est difficile d’identifier certaines méthodes
comme plus adaptées que d’autres pour certains bassins versants. Il semble au contraire que
les mêmes difficultés sont partagées par les différentes méthodes.
6.5 Synthèse
Différentes approches existent pour quantifier l’incertitude prédictive d’un modèle hydrolo-
gique. Nous avons souhaité dans cette thèse réaliser une comparaison de plusieurs méthodes.
100 Chapitre 6. Comparaison des méthodes utilisées en simulation
NSV70
NSV80
●●●●●
●● ●●●●●● ● ● ●●
● ●
●●●
●●
●●●
●● ●●
● ●
●
●●●●
NSL70
NSL90
●●●●
●●●
● ●
●●
●
●●
●●
●
●
● ● ●
● ●
●
●●
●●
●
●
●
●●
●
●
●●● ●●● ●● ●●
●
●●●
●
●●
●●
●●
●●
●●
●●
●●
●
●
●●
●
●
●●
●●
●
●●
●●
● ●
●
●●
●
●●
●●
●
●
●
●
●
●●
●
●●
●
●
●
●●● ●
●● ● ●● ●●
●● ●●● ●
●
●
●
●
●●
●
●
●●
●●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
● ● ●●● ●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●●
●
● ● ● ●●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●●
●●
●● ● ●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●●
●
●●●
●
●
●●
● ●●●●●
●●
●●● ● ● ● ●●●● ●● ●● ● ●●● ●● ●
● ●●● ●
●
●●●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●● ●
●●
●
●
●
●
●
●
●
●
●
●
●●
●●
●●
●●
●
●
●●
●● ●
●
●● ●●●
●
●
●
●
●
●●
●●
●
●●
●
●●
●●●●●
●
●●●●
●●
●●●
●
●
●
●
●
●
●
●
●●
●●
●●
●
●●●
● ●
● ●
● ●●●●
●●
●
●●● ● ●●● ● ●
●● ●● ●
●● ●
●●●●●
●● ● ● ● ●
●
● ●●
●
●
●●
●●●
●●
●●
●●
●
●●
●
●●
●
● ●●
● ●
● ●● ●●●●
●● ●●● ● ●●●●●
● ●●●●
●●
●
●●
●●
●
●● ● ●● ●●●● ● ● ● ● ●● ●● ● ● ●●●● ● ●
0.0 ●
●●●●●●
●● ●
●● ●●
●
0.0 ●
●
● ●
●●
0.0 ●
●
● ●● 0.0 ●
●
● ●●
●
●
● ● ●
MCMC_BC0
● ● ●
●●●●
●
●●
●
●
●
●
●●●
●●
●
●●
●
●●
● ●●●
●●●
●
●
●●●
● ●
●
● ●
●●
●
●●
●
●● ●● ●●
●
●●
●●● ●●●●
0.5 ●
● ●
●●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
0.5 ● ●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●●●●
●●
●●
●
●
●●
●
●●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
● 0.5 ●●●●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●●
●
●●
●
●●●
0.5 ●
●●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
NSQ70
NSQ90
●
● ●●● ●●●
●
●●
●●
●●●
●●
● ● ●● ●
●
●●
●●●
● ●●●
NSV90
●
●●●
●
●
●
●●
●●
●
●
●●
● ●
●
●●
● ●●●●●
●●●
●●
●●
●
● ●
●
●
●●
●
●●
●●
●●●●
● ●●●● ●●●●
●
●●
●
●
●●
●
●
●
●●●● ●● ●
●
●
●●
●
●
●
●●
●
●
●●●
●
●● ●
●
●●
●
●●● ●●
●●
●●●
●
● ●
● ● ●
●●
●●●
● ● ●
●
●
●●
●
●●
●●●●
●●
●●
●
●
●
●
●●
●
●
●●
●●
●
●
●
●●
●●
● ● ●●
●●
●●
●
●
●
●
●
●
●
●●
●
●
●
●
●●
●
●●●●●
●● ●
● ●
●●
●
●
●●
●●
●
●
●●
●●
●
●
● ● ●● ●
●
●
●
●
●
●
●
●
●●
●
●
●●
●
●
●
●
●●
●
●●
●
●
●
●
●
●
● ●
● ●
● ●● ●●
●●●
●
●●●●
●
●● ● ● ●● ●●●
● ●●● ●
●●
●
●
●●
●●
●●
●●●
●●
●●
●
●
●
●
●
●●●●
● ●●
●●
●●●
● ● ●●● ●
●●
●●●●
●●●
●●● ●●
●●●
●
●
●●
●
●
●
●
●
●●
●●
●
●
●●●●
●● ● ● ● ●●● ●● ●
● ●●●
●●●
● ●
●●● ●
●●●●
●
●
●●● ●
●● ●
● ●●● ● ●●
●●●● ● ● ● ●● ●
●●●
●
●● ●●
●●● ●
●● ● ● ●
● ● ●
●●
●●● ● ● ●●●●
●
●
●●● ●
●
●●●● ● ● ● ● ●●●
●
● ●
0.0 ●● ●
● ●
0.0 ●
●
● ●●
●
●
●● ●
●●
●
0.0 ●
● ●● ● ● ●
● ●●●
●
●
●
●
●
0.0 ●
● ●●
● ●●●●●
● ●●
●
● ● ●
● ● ● ●
MCMC_PP_BC0
1.0 1.0 1.0 1.0
MCMC_BC0.3
MCMC_BC0.5
●
●
● ●
● ● ● ●
−0.5 ●
−0.5 ●
−0.5 ● −0.5
MCMC_PP_BC0.5
MCMC_PP_BC1
0.5
0.97 ●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
0.5
0.90 ●●
●●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
05
0.95
0 95 ●●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●●
●●
●
●●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●● ●●
●●
●
●● ●●
●
●●
● ● ●
●●●
●●● ●
● ●●
●●●
●● ● ●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●●●
● ●
●●● ●●● ●
●●
●
●
●
●
●
●
●
●●
●●
●●● ●●●● ●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●● ●● ● ●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●●
●●
●
●
●●
●
●
●
●
●
●
●●
●
●
●●
● ●● ● ●●
●●
●
●
●
●
●
●
●
●
●
●●
●●
●
●
●
●● ●
● ●
●●
●●
●
●●
●●●
●
●
●
●●
●
●●
●●
●● ● ●● ●
●●
●
●
●
●
●●
●●
●
●
●
●●
● ●
● ●●
●● ● ●●●
● ●●
●●
●●●●●●
● ●●●●
●●● ●
● ●
●
●
●
●
●● ●
●
● ●●●● ●
●●
●
●
● ● ●●●●●
●●
●●
●
●
●●
●
●●
●●●● ●
●●
●
● ●
●
BC0
●● ●●
●● ● ● ●
● ●
● ●●●●
●
● ● ●●● ●●
●
●●● ●●●
● ●● ●●●●
●●●● ●●●●● ●
●
●●
●
●●
●●●
●
●
●● ●●● ●● ●
● ●● ●
●
●
●
●
● ●●
●● ●●● ●●●●●●● ●
● ● ● ● ● ●●●
● ● ● ● ●●● ● ● ●●
0.0 ●● ●
0.0 ●
●● ●
●●
0.0 ●
●
● ●
●
●●
●●
●●
●
00 ●●
●
●
●
●
● ● ● ●
● ●
−0.5 −0.5 ●
−0.5 ●
−0 5
−1.0 −1.0 −1.0 −1 0
−1.0−0.5 0.0 0.5 1.0 −1.0−0.5 0.0 0.5 1.0 −1.0−0.5 0.0 0.5 1.0 −1 0−0 5 0 0 0 5 1 0
10 10 10 10
0 97 0 97 0 92 05
0 95
05 05 05
MeGa
BC0 3
BC0 5
BC1
00 00 00 00
−0 5 −0 5 −0 5 −0 5
−1 0 −1 0 −1 0 −1 0
−1 0−0 5 0 0 0 5 1 0 −1 0−0 5 0 0 0 5 1 0 −1 0−0 5 0 0 0 5 1 0 −1 0−0 5 0 0 0 5 1 0
10 10 10 10
0 87 0 98 0 92 0 90
M GAMMA
05 05 05 05
CemaO
MCP
RQ
00 00 00 00
−0 5 −0 5 −0 5 −0 5
−1 0 −1 0 −1 0 −1 0
−1 0−0 5 0 0 0 5 1 0 −1 0−0 5 0 0 0 5 1 0 −1 0−0 5 0 0 0 5 1 0 −1 0−0 5 0 0 0 5 1 0
F IGURE 6 9 – Indices de performance globale CRPSS pour 195 bassins et deux périodes
d’évaluation de cinq ans Une version bornée est utilisée pour faciliter la visualisation
6.5. Synthèse 101
La comparaison de vingt-sept méthodes a été réalisée sur 195 bassins versants selon une
procédure de calage-contrôle. Les caractéristiques de fiabilité, de finesse et la performance
globale des distributions prédictives ont été examinées.
– L’incertitude liée à l’estimation des paramètres ne semble pas suffisante pour caracté-
riser l’incertitude prédictive totale ; l’hypothèse selon laquelle les ensembles de para-
mètres pourraient refléter de manière implicite les erreurs résiduelles ne semble pas
vérifiée sur notre échantillon de bassins versants. Les méthodes liées au formalisme
GLUE sont globalement les moins satisfaisantes.
– Les résultats obtenus avec le calage bayésien montrent la faible contribution de l’in-
certitude liée à l’estimation des paramètres à l’incertitude totale. L’incertitude totale
est en grande partie contrôlée par le modèle d’erreur qui est associé à la fonction
de vraisemblance. L’utilisation d’une transformation de variable permet d’améliorer
significativement les performances en raison d’une meilleure prise en compte de l’hé-
téroscédascticité des erreurs.
– Les méthodes de post-traitement que nous avons appliquées au cours de cette thèse
ont pour objectif de caractériser les distributions prédictives de manière conditionnelle
au débit simulé par un modèle hydrologique. Elles utilisent différents formalismes sta-
tistiques pour caractériser ces distributions, ce qui conduit à des résultats qui diffèrent
en terme d’indices de fiabilité, de finesse, et de performance globale. Il apparaît que
les méthodes les plus flexibles obtiennent des indices de fiabilité plus élevés que les
méthodes qui reposent sur de fortes hypothèses statistiques, malgré des diminutions 6
importantes lors du passage des périodes de calage aux périodes de contrôle, et de
meilleures performances globales.
CATCHMENTS
105
Ce chapitre correspond à un article soumis à la revue Hydrology and Earth System Sciences.
Résumé
La simulation des débits pour les bassins non-jaugés représente un véritable défi, et la quan-
tification de l’incertitude prédictive dans ce contexte est un tâche délicate. Dans cet article,
nous présentons une méthode qui permet de transférer une estimation de l’incertitude
prédictive des bassins jaugés aux bassins non jaugés. Nous avons testé cette approche sur
un échantillon de 907 bassins versants français, en évaluant trois qualités de l’incertitude
prédictive: la fiabilité, la finesse et la performance globale. Les résultats obtenus montrent
que la méthode est capable de produire, dans la plupart des cas, des intervalles prédictifs à la
fois fiables et fins à l’exutoire des bassins versants non-jaugés.
7
Abstract
7.1 Introduction
For gauged catchments, the methodologies include Bayesian calibration and prediction
approaches (see e.g., the review of Liu and Gupta, 2007), informal methods related to the
GLUE framework (Beven and Freer, 2001), multi-model approaches (Duan et al., 2007; Ve-
lazquez et al., 2010) and other total uncertainty quantification methods (Montanari and
Brath, 2004; Solomatine and Shrestha, 2009; Weerts et al., 2011; Ewen and O’Donnell, 2012). A
comprehensive review of the topic can be found in Matott et al. (2009) and Montanari (2011).
While many methods have been proposed for gauged catchments, only a few have been
proposed for the estimation of predictive uncertainty on ungauged catchments. McIntyre
et al. (2005) presented a GLUE-type approach consisting of transferring ensembles of param-
eter sets obtained on donor (gauged) catchments to target (ungauged) catchments. More
recently, a framework based on constrained parameter sets was applied in several studies
(Yadav et al., 2007; Zhang et al., 2008; Winsemius et al., 2009; Bulygina et al., 2011, 2012;
Kapangaziwiri et al., 2012). It is a two-step procedure. The first step consists in estimating
with uncertainty various summary metrics of the hydrographs, also called “signatures” of the
catchments, or gathering other “soft” or “hard” information at the target ungauged catch-
ment. The second step is the selection of an ensemble of model parameter sets. “Acceptable”
or “behavioural” parameter sets are those that yield sufficiently close simulated summary
7.1. Introduction 107
metrics compared to regionalized metrics. The reader can refer to Wagener and Montanari
(2011) for a comprehensive description of this framework.
One difficulty of the above mentioned approaches lies in the interpretation of the uncertainty
bounds obtained from the parameter ensemble predictions. As noted by McIntyre et al.
(2005) and Winsemius et al. (2009), the uncertainty bounds cannot easily be interpreted as
confidence intervals, and thus it remains difficult to use them in practice. In addition, solely
relying on an ensemble of model parameter sets to quantify total predictive uncertainty is
often not sufficient when imperfect rainfall-runoff models are used.
A pragmatic alternative consists in addressing separately the parameter estimation and the
uncertainty estimation issues. It has been argued by several authors (Montanari and Brath,
2004; Andréassian et al., 2007; Ewen and O’Donnell, 2012) that a posteriori characterization
of modelling errors of a “best” or “optimal” simulation can yield valid uncertainty bounds at
gauged locations. As stated by Solomatine and Shrestha (2009),
The historical model residuals (errors) between the model prediction ŷ and the
observed data y are the best available quantitative indicators of the discrepancy
between the model and the real-world system or process, and they provide
valuable information that can be used to assess the predictive uncertainty.
Similarly, one could argue that the model residuals between the model prediction and the
observed data at neighbouring gauged locations are, perhaps, the best available indicators
of the discrepancy between the model and the real-world system at the target ungauged
location.
The only attempt we are aware of to apply a total uncertainty estimation approach at un-
gauged location is the one presented by Roscoe et al. (2012). They quantified uncertainty
for river stage prediction at ungauged locations by first interpolating the residual errors at
ungauged locations, and then applying quantile regression to these errors.
7
The aim of this paper is to provide an estimation of the total uncertainty affecting runoff
prediction at ungauged locations when a rainfall-runoff model and a regionalisation scheme
is used.
To our knowledge, a framework based on residual errors and total uncertainty quantification
has not yet been extensively tested in the context of prediction in ungauged catchments.
108 Chapter 7. Transferring model uncertainty estimates
This paper contributes to the search for methods able to provide uncertainty estimates when
runoff predictions in ungauged catchments are sought.
A database of 907 French catchments was used. They represent various hydrological con-
ditions, given the variability in climate, topography, and geology in France. This set in-
cludes fast responding Mediterranean catchments with intense precipitation as well as larger,
groundwater-dominated catchments. Some characteristics of the data set are given in Ta-
ble 7.1. Catchments were selected to have limited snow influence, since no snowmelt module
was used in the hydrological modelling. Daily rainfall, runoff, and potential evapotranspi-
ration (PE) data series over the 1995–2005 period were available. Meteorological inputs
originate from Météo-France SAFRAN reanalysis (Vidal et al., 2010). PE was estimated using
the temperature-based formula proposed by Oudin et al. (2005). Hydrological data were
extracted from the HYDRO national archive (www.hydro.eaufrance.fr).
Percentiles
0.05 0.25 0.50 0.75 0.95
Catchment area (km2 ) 27 73 149 356 1788
Mean annual precipitation (mm/y) 753 853 978 1176 1665
Mean annual potential evapotranspiration (mm/y) 549 631 659 700 772
Mean annual runoff (mm/y) 133 233 344 526 1041
Q/P ratio 0.17 0.27 0.34 0.45 0.68
P/PE ratio 1.06 1.25 1.47 1.83 2.9
Median elevation (m) 76 149 314 645 1183
7.2. Data and methods 109
The GR4J and TOPMO models have four and six free parameters respectively. On gauged
catchments, parameter estimation is performed using a local gradient search procedure,
applied in combination with a pre-screening of the parameter space (Mathevet, 2005; Perrin
et al., 2008). This optimization procedure has proved to be efficient in past applications for
the conceptual models used here. As objective function, we used the Nash and Sutcliffe (1970)
criterion computed on root square transformed flows. This criterion was shown to yield a
good compromise between different objectives (Oudin et al., 2006).
Oudin et al. (2008) assessed the relative performance of three classical regionalisation 7
schemes over a set of French catchments: spatial proximity, physical similarity and regression.
Several options within each regionalisation approach were tested and compared. Based on
their results, the following choices were made here for the regionalisation approach, as they
offered the best regionalisation solution:
– Poorly modelled catchments were discarded as potential donors: only catchments with
a performance criterion in calibration above 0.7 were used as possible donors.
– The spatial proximity approach was used. It consists of transferring parameter sets
from neighbouring catchments to the target ungauged catchment. Proximity of the
ungauged catchments to the gauged ones was quantified by the distances between
catchments centroids.
110 Chapter 7. Transferring model uncertainty estimates
– The output averaging option was chosen. It consists of computing the mean of the
streamflow simulations obtained on the ungauged catchment with the set of parame-
ters of the donor catchments.
– The number of neighbours was set to 4 and 7 catchments for GR4J and TOPMO respec-
tively.
The main idea underlying the proposed approach is (i) to treat each donor as if it was
ungauged (simulating flow though the above described regionalisation approach), (ii) char-
acterize the empirical distribution of relative errors for each of these donors, and (iii) transfer
model uncertainty estimates to the ungauged catchment.
The methodology used to transfer model uncertainty estimates can be described by the
following steps, illustrated by Figs. 7.1 to 7.5:
1. Selection of catchments
Here we consider a target catchment as ungauged, called TUC. This catchment has n
neighbouring gauged catchments, called NGC1 , NGC2 , . . . , NGCn . If the NGCi catch-
ment was now considered ungauged, one could also consider n neighbouring catch-
ments, called NGC1i , NGC2i , . . . , NGCni . Obviously, the TUC catchment would be ex-
cluded from this set of second order donor catchments.
Figure 7.1: Illustration of the proposed approach – Step 1: in (A), a target catchment (grey) is
considered as ungauged; this catchment has n neighbouring gauged catchments (red). In (B),
if one of the neighbouring catchment is now considered ungauged (green), we also consider
n neighbouring catchments (yellow). Note that the target catchment is excluded from this set
of second order donor catchments.
a. Put together the relative errors from the donors according to the group they belong
to.
b. Compute the empirical quantiles of the relative errors distribution within each
group. Each quantile of relative error can be considered a multiplicative coef-
ficient. These multiplicative coefficients will be used to obtain the prediction
bounds.
Some of the methodological choices made here will be further discussed in Sect. 7.5.
We assessed the relevance of the 90% uncertainty bounds by focusing on three characteristics:
reliability, sharpness and overall skill.
112 Chapter 7. Transferring model uncertainty estimates
20
15
BV - 1
10
0
20
15
BV - 2
10
Discharge (mm/d)
0
20
15
BV - 3
10
0
20
15
BV - 4
10
0
2004-01 2004-07 2005-01 2005-07 2006-01
Date
Figure 7.2: Illustration of the proposed approach – Step 2a: simulated (green) and observed
(black) discharge time series for four donor catchments treated as ungauged, i.e., in which
model parameters must be estimated from a regionalisation approach.
102
101
BV - 1
100
10-1
10-2
102
101
BV - 2
100
Relative errors
10-1
10-2
102
101
BV - 3
100
10-1
10-2
102
101
BV - 4
100
10-1
10-2
1 2 3 4 5 6 7 8 9 10
Groups of Simulated Discharge
Figure 7.3: Illustration of the proposed approach – Step 2b: relative errors by flow groups;
groups of relative errors are defined according to the magnitude of the simulated discharge.
7.4. Quantitative evaluation of uncertainty bounds 113
102
101
Relative errors
100
10-1
10-2
1 2 3 4 5 6 7 8 9 10
Groups of Simulated Discharge
Figure 7.4: Illustration of the proposed approach – Steps 3a and b: aggregating the relative
errors observed at the donors catchments; red dots correspond to the empirical quantiles (5
and 95%) of the relative errors distribution within each group.
10.0
7.5
Discharge (mm/d)
5.0
2.5
7
0.0
2004-01 2004-07 2005-01 2005-07 2006-01
Date
Figure 7.5: Illustration of the proposed approach – Steps 4a and b: simulated (red) and
observed (black) discharge time series for the ungauged catchments; 90% uncertainty bounds
in grey.
114 Chapter 7. Transferring model uncertainty estimates
Reliability refers to the statistical consistency of the uncertainty estimation with the ob-
servation, i.e., a 90% prediction interval is expected to contain approximately 90% of the
observations if prediction errors are adequately characterized by the uncertainty estimation.
To estimate the reliability, we used the coverage ratio (CR) index, computed as the percentage
of observations contained in the prediction intervals.
Uncertainty bounds that are as sharp as possible and reasonably reliable are sought: indeed
sharp intervals that would consistently miss the target would be misleading, while overly
large intervals that would successfully cover the observations at the expense of sharpness
would be of limited value for decision making.
To complete the assessment of the prediction bounds, we used the interval score (Gneiting
and Raftery, 2007). The interval score (IS) accounts for both reliability and sharpness and
provides an overall assessment of the quality of the prediction bounds. The scoring rule of
the interval score is defined as
2 2
S = (u − l ) + (l − q)1{q < l } + (q − u)1{q > u} (7.1)
1−β 1−β
where [l , u] is the prediction interval and q is the observed value; 1{x < y} is the indicator
function, equal to 1 if x < y and 0 otherwise, and β is equal to 90% since a 90% interval is
sought here. IS is the average value of S over the time series.
To ease comparison between catchments and evaluate the skill of the prediction bounds, we
used the unconditional climatology as a benchmark and computed the interval skill score
IS
ISS = 1 − (7.2)
ISclim
where ISclim is the interval score obtained with the 90% climatological interval [Q5, Q95] (Q5
and Q95 are the 5th and 95th percentiles of the flow duration curve).
7.5. Results and discussion 115
The skill score is positive when the prediction bounds are more skillfull than the climatological
interval, and negative otherwise.
Figure 7.6 shows the distributions of the three criteria used to evaluate the uncertainty
bounds on the 907 catchments. Boxplots (5th, 25th, 50th, 75th and 95th percentiles) are used
to synthesize the variety of scores over the 907 catchments of the data set.
90 80
75
80
AWI %
ISS %
CR %
50 40
70
25
60
0
0
50
Figure 7.6: Distributions of the three performance criteria. Boxplots (5th, 25th, 50th, 75th
and 95th percentiles) synthesize the variety of scores over the 907 catchments of the data set.
7
Reliability
For both models, half of the catchments (from the lower quartile to the upper quartile) have
CR values between 80 and 95%. The median values are equal to 89 and 90% for GR4J and
TOPMO respectively. Since a value of 90% is expected for 90% prediction bounds, these
results suggest that the prediction bounds are, in most cases, able to reflect the magnitude of
errors when predicting runoff hydrographs in ungauged catchments. The CR values fall below
70% for around 14% of the catchments with GR4J, and 13% with TOPMO, which indicates
cases where the proposed approach yields predictive bounds that might be too narrow or
biased (i.e., not well centered on the observations).
116 Chapter 7. Transferring model uncertainty estimates
Sharpness
Regarding sharpness, it can be seen that for GR4J, half of the catchments (from the lower
quartile to the upper quartile) have AWI values between 39 and 67%, while for TOPMO
corresponding values are equal to 38 and 65%. The median values are equal to 57 and
55% for GR4J and TOPMO respectively. The higher the AWI values, the lower the predictive
uncertainty is. Since it would be utopic to expect that no errors will be made when predicting
runoff hydrographs for ungauged catchments, we considered here uncertainty reduction
values between 30 and 80% as quite satisfactory. Note that negative values are seen for 7% of
the catchments with both GR4J and TOPMO, which indicates cases where the approach yield
prediction intervals whose average width is larger than the width of the historical [Q5, Q95]
interval (Q5 and Q95 are the 5th and 95th percentiles of the flow duration curve).
Overall skill
Finally, Fig. 7.6(c) shows that the predictive skill is positive for most catchments (around
92%) for both models. For both models, half of the catchments (from the lower quartile to
the upper quartile) have ISS values between 40 and 70%. The median values are equal to 61
and 59% for GR4J and TOPMO respectively. While it might be argued that the unconditional
climatology is not a very challenging benchmark, we consider that it is still a positive and
reassuring result.
A critical step of the proposed approach is to apply the regionalisation scheme to obtain a
simulated discharge time series for each donor catchment (Step 2). This is done because we
expect that predictive uncertainty at ungauged locations is larger than predictive uncertainty
at gauged location, i.e., when the rainfall-runoff is calibrated with observed discharge data.
To assess the impact of this methodological choice, we applied the methodology described
earlier to transfer uncertainty estimates, but this time the donor catchments are treated as
gauged.
Similarly to Fig. 7.6, Fig. 7.7 shows the distributions of the three criteria obtained in the two
cases: whether or not the donor catchments are treated as ungauged. We can observe for
both models a drop in reliability, whereas sharpness increases. This is because the relative
errors are smaller when the donor catchments are treated as gauged, yielding narrower but
7.5. Results and discussion 117
less reliable prediction bounds for the target catchment. Interestingly, this results in skill
scores that are quite similar: improvements in terms of sharpness compensate decreases in
terms of reliability.
75
80 50
AWI %
ISS %
CR %
50
60 0
25
0
40 −50
GR4J GR4J TOPMO TOPMO GR4J GR4J TOPMO TOPMO GR4J GR4J TOPMO TOPMO
Figure 7.7: Distributions of the three performance criteria, obtained in two cases, i) when
the donor catchments are treated as ungauged (continous lines) and ii) when the donor
catchments are treated as gauged (dashed lines). Boxplots (5th, 25th, 50th, 75th and 95th
percentiles) synthesize the variety of scores over the 907 catchments of the data set.
Another critical step of the proposed approach is to use 10 groups of relative errors. The
7
groups are defined according to the magnitude of the simulated discharge (Step 2). This was
done to take into account the fact that the characteristics of errors usually change according
to the magnitude of the simulated discharge. To assess the impact of this methodological
choice, we again applied the methodology described earlier to transfer model uncertainty
estimates, but this time only one group is used instead of 10.
Figure 7.8 shows the distributions of the three criteria obtained in the following two cases:
whether 10 groups or only one group of relative errors are used. For both models, reliability
slightly increase, whereas both sharpness and skill decrease. It appears that improvements in
terms of reliability are not sufficient to compensate decreases in terms of sharpness when
overall skill is considered.
118 Chapter 7. Transferring model uncertainty estimates
While it could be argued that using only one group is the preferable option because of the
slight improvement in terms of reliability, in our opinion, the improvement is not sufficiently
important to compensate the decrease in terms of uncertainty reduction and skill. We
definitely prefer to maintain different flow groups.
80
90
50
80
AWI %
ISS %
CR %
40
70
60 0
50 −50
GR4J GR4J TOPMO TOPMO GR4J GR4J TOPMO TOPMO GR4J GR4J TOPMO TOPMO
Figure 7.8: Distributions of the three performance criteria, obtained in two cases, i) when
10 groups of relatives errors are used (continous lines) and ii) when only one group is used
(dashed lines). Boxplots (5th, 25th, 50th, 75th and 95th percentiles) synthesize the variety of
scores over the 907 catchments of the data set.
To gain insights into the possible relationships between the performance of the deterministic
rainfall-runoff simulations and characteristics of the uncertainty bounds at ungauged loca-
tions, the three criteria used to characterize the uncertainty bounds are plotted in Fig. 7.9 as
function of a quadratic efficiency criteria for the 907 catchments. The quadratic efficiency
criterion is the C2M (Mathevet et al., 2006), a bounded version of the Nash and Sutcliffe (1970)
efficiency (NSE) criterion. The equations are:
NSE
C2M = (7.3)
2 − NSE
Pn ¡ ¢2
t =1 Qo,t − Qs,t
NSE = 1 − P ¡ ¢2 (7.4)
n
t =1 Qo,t − µo
where n is the total number of time-steps, Qs,t is the simulated discharge at time-step t , Qo,t
is the observed discharge at time-step t , and µo is the mean of the observed discharges. The
7.6. Conclusions 119
advantage of this bounded version is avoiding large negative values difficult to plot.
●
● ●
●
● ● ● ● ●● ● ●
●
● ● ● ●● ●
● ●●
●
● ● ● ●● ●●●
●●●●●●
● ●
●● ●
●●
●●●
●●
●●● ●
●● ●●
●●●●
●●●
●
●
●
●
●
●●
●●
●
●
●
● ●●
● ●
●●
● ●
●●●
●●
●●●
●●●●
●●
● ●●
●●
●●●
●
●
●●
●
●
●●
●
●●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●● ●
● ● ●●
●●●
●●
●●
●●
●
●●●●
●
●
●
●
●
●
●
●●●
●
●
●
●
●
●●
●
●● ● ●
●
●
●●●●
●
●
●
●
●
●●●●
●
●●●● ●
●● ● ●●
100 ● 100
● ● ● ●● ● ●● ●● ●
●● ●●●●●●●
● ● ●
●●● ● ●● ●
●● ●●
●● ●
● ● ●● ● ●● ● ●●● ● ● ●●
●● ●●●●
● ●●
● ●
●● ●●●●● ●
●
● ●●●●● ●●
●●●●
●●●●
●●●
●●● ●●●
●● ● ● ● ●●
● ● ●
● ●
●●●●● ●●
●● ●
●
●● ● ●● ●
●●●● ●●● ●
●
●● ● ●●●● ●●
●●● ●
●●●
● ●
● ● ●● ● ●●●●● ●●●
●●●●●
● ● ●●●● ●●● ●● ● ●●● ● ●● ● ●● ●●●● ●●
● ● ●
● ●●
●●
● ●●● ● ● ● ● ●
●
●●● ● ● ●●
● ●●● ●● ● ● ●
● ●
●●●●●● ●
●● ●
●
● ● ●● ●● ● ●
●● ●
●●●● ● ● ● ●● ●
●
●●
●●
● ●●
●●●●●●●●
●●
● ●
●●● ●
●
●
●●
●●●
● ●● ● ● ●
●●● ●●●●●● ● ●
●
●●● ●● ● ●
● ●● ●● ● ● ● ● ● ●●● ●●●●●●●
● ●●● ●
●●●●● ●● ●●● ●● ●
●●●●●
● ● ●● ●●
●
●●●
● ●
●● ●● ●●●●
●
●●● ●
●
●●●●●●
● ● ● ● ●● ● ●●
●●●●●● ●
●●●
● ●●
●●● ●
● ●●●● ●●●●● ●●●●●
●
● ●
●●
●
●
●●
●●
●
●●●
●
●
● ●●●
● ●
●
●●
●●
● ●● ●● ●● ●●● ●●● ●● ● ● ●●
● ● ●● ●●●
● ● ●●●● ●●●● ●
● ●
●●●
●●●
●
●● ●●
●●●●●●
●● ●●●
●●● ●
● ● ● ●●● ●●
●
●
●●●
●●●
●●
●
●
● ●
●●
●●
●
●● ●
●●●
●●● ● ●●● ● ●●●● ●●● ●● ● ●● ● ● ● ●● ● ● ●● ●●● ●●●● ●
● ●
● ● ● ●● ●●●●● ●● ●●
●●
● ●
●●
● ●●
●●
●
●●●●●
● ●●
●
●● ●
● ● ●● ●●
● ● ● ● ● ● ●●●● ● ● ●●● ●●●●
●●● ● ●● ●●●●● ●● ● ●● ●●●
●
●●●●● ● ●●
●● ● ●●●
●
●
●●
●
●●
●●
●
●●
● ●
●●● ● ● ● ●● ●●
●●●
●●
●● ●●●
●●●
●●
● ●
●●●
●●
●
●
●●● ●●●
● ●
● ● ●●●●● ●●●● ●● ●●● ●
●
●● ● ●
● ●● ●
● ●●
●●
●
●● ●
●●●
●●●● ●● ● ● ●●● ● ● ●
●●● ●● ●
● ●
●
●●●●
● ● ●●
● ●● ● ●●● ● ● ●●●
●●●● ●
● ● ●●●●
● ●
● ● ●●●● ●●
● ●
● ● ●●
● ●
●●
● ● ●●
●● ●●●
●
●●●
● ●
●●
●●● ●●
●●
●
●●●●●●
●
●●●
● ●●●●
●●●●
●
●●
●●●
●
●
●
●●●●● ●
● ●● ●● ● ● ●● ● ●
●● ●● ●● ● ●●●●●● ●
●
● ● ●
● ● ● ● ●● ● ●●
●●●●●● ●●
● ●●●●●●●●● ●● ●●● ●
●
●
●
●
●
●●●
●● ●●
●
● ●
● ● ● ●●●● ●● ● ● ●●
●●●●
● ● ●●●
●●●●●
● ●
●●●●
●
●●●
●●● ●
●
● ● ●●●● ●●● ●● ●● ●
●●●●● ●● ●●●●
●● ● ● ●● ● ●● ●●●●● ●●
● ●
● ●
●●●
● ●
●●●● ●●●● ● ●
●● ● ●● ● ● ● ● ● ●● ● ●●● ●● ● ●● ●●● ●●●●● ● ●● ●●●● ● ●
●● ● ●●●
● ●● ●●● ● ●●● ●● ●●● ● ●●
● ●
●● ● ● ● ●● ● ● ● ●
● ●
●●●●● ●● ●
●●
●●●
●●●
●●
●●● ●● ●●
● ●
●●●
● ● ●●● ●●●
●●●● ●● ●●●
●
● ●
●
●●●● ●●● ●
● ●●
● ● ● ● ●●
●●
● ●●
● ● ● ●
● ● ●●●● ● ● ●● ●●●●
●
● ● ●● ●
●●
●
●●● ●
●●●● ● ● ● ● ● ●●●●●
●
●
●● ● ● ● ●● ●
75 50 50
● ● ● ●
● ● ● ● ● ●●
● ● ●
●
●● ● ●● ●●●●● ●●●
●
● ●●
●●● ●●● ● ●●● ● ●● ● ● ●● ●● ●●
● ●● ●
● ● ●●
● ● ●
●
● ● ●● ●● ● ● ● ● ●● ●
●●●
●●● ●
●
● ●●● ● ● ●●● ● ●●
● ●●
●●●
●
●● ●●●
●●●● ● ● ●●●●
●●
●
●● ●
● ● ● ● ●● ● ● ●● ● ● ● ●● ●
● ●● ●● ●●
●●
●●
●●●●●●●● ● ● ● ●● ● ● ●● ● ● ● ● ● ● ●
● ●● ●● ● ●● ● ●●● ● ● ● ●
● ●●
● ● ● ● ●● ●●● ● ● ●●● ● ●●●● ● ●● ●
● ●● ● ●● ●●●●●●●
● ●●●
●
●● ●● ●
● ●● ● ● ● ● ●●
● ● ● ●
● ●
● ● ●●
●●●
●
●● ●
● ● ●●● ● ● ●● ● ● ●
●
●●●
●
● ●
● ●
● ●
●
●●●● ● ● ● ●● ●● ● ● ●● ● ●● ●
● ●● ● ● ● ● ● ●
● ● ● ●● ● ● ● ●●●●●● ● ● ● ●● ●● ● ● ●●● ●● ● ●
● ●● ● ●● ●●● ● ●● ●
● ● ● ● ●● ●● ● ● ● ● ● ● ● ● ●●● ●●● ●● ● ● ●● ● ●●●● ● ●●
● ●●●●● ●
● ●
●● ● ● ●● ● ● ● ●● ●●
● ●
● ● ●●● ● ● ●●
●●●● ●● ●●● ●●● ● ● ● ● ●
● ● ● ● ● ● ● ●●●● ●● ● ● ● ● ● ● ●● ●
●●●
● ●● ●
● ● ● ●
● ●● ● ● ● ●●● ● ● ● ● ●● ● ●● ● ● ● ● ●● ● ●● ● ●● ●
●
● ● ● ●
● ● ● ● ● ● ●
●
●● ● ● ●● ● ●
●● ●●● ● ● ● ● ●● ●
● ● ● ● ● ● ● ● ● ●
● ●
● ● ● ●● ●● ● ●
● ●
●
● ● ● ● ●●
●
● ● ● ● ●●●
●● ● ● ● ● ● ● ● ● ●● ● ●
●● ● ● ● ● ● ●●●
●
GR4J
GR4J
GR4J
● ● ● ● ● ● ●●
● ● ● ● ● ●● ●
● ● ●● ● ● ● ●● ●
● ●
●● ● ●
● ● ● ● ● ● ● ● ●●● ● ●
●● ● ●
●
●
● ●
●●
● ●● ●● ● ●●
● ● ● ● ●●
●●
● ●● ● ●
● ● ●● ● ● ● ● ● ● ●
50 0 0
● ● ●
● ●● ● ●
● ●
●●●
● ● ● ● ● ●
● ● ● ● ●
●
● ● ● ●
● ● ● ● ● ● ●● ●
● ●● ● ● ● ● ● ● ● ●
●● ● ● ● ● ●
● ●●
● ● ●
●
● ● ● ● ● ●● ● ●
● ● ● ● ● ● ●●
● ● ● ●
● ● ● ●
● ● ● ● ● ●
● ● ●
● ● ● ●
● ● ● ● ● ●
● ● ●
● ● ●
● ● ● ● ●
● ● ●●● ● ● ●
●
● ●
●
● ● ● ●
25 ● ●
●
●●
●
●
−50 ●
●
●● ●
−50 ●
● ● ●
● ●
● ● ●
●
● ● ● ●
● ● ● ●
●● ● ●
● ●
●
● ● ●
● ●
● ●
AWI %
ISS %
CR %
0 ● ●
−100 −100 ●
100 ●
●
●●
● ●
●
●
●
●
●
● ●
●
● ●
●
● ● ● ●●
●●
● ●● ●●●
●●
●●
●
● ●●
●● ● ● ●●
● ●●●● ●
● ●●
●● ●●●●
●●
● ●
●
●
●
●● ●
●
●
●
●
●
●●●
●●●
●
●●
●●
●
●
●●
●
●●
● ●
●●●
●
●●
●●●
●●
●
●●
●
●
●
●
●
●
●
●
●
●
●●
●
●●
●●
●●
● ● ●●
●
●
●
●●
●
●
●
●
●●
●
●●
●●
●
●
●
●
●
●●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●●
●
●
●●●
●●
●●●
●
●●●
●●
●
●●
●
●
●
●
●
●●
●●
●
●
●
●
●
●
●
●
●
●●
●●
●
●
●●●●●
●●
●●
●
●
●●●
100 ●
●
100
● ●
● ● ●● ● ● ● ● ●● ●
●●●●
●●●●● ●
●
●●●●● ●●
●●●
● ●● ●
●
●●
●●●● ●●
●●●●●
●
● ● ● ●● ● ●
●●●●●●●●●●●●● ●●●●● ●● ●
●●● ●●●●● ●
● ● ●
●●● ● ● ●● ●●● ● ●● ●●
● ●●●
● ●●●●●
● ●●
●●●
●
● ● ● ●
● ● ● ●●●
● ●●●● ●●● ●
● ●● ●
●●●● ●● ●●
●
●●
● ●●●●●
●
●
●● ●● ●
●
●●●
●●
●● ●●●
●●
●
● ●● ● ●●● ● ●●●
● ●
●●●●●● ● ●●●● ● ●● ●
● ●●●● ●●● ● ●● ● ●●
●●●
●●●●●●
●
●●
●●
●
● ●
● ●● ● ● ● ●
● ●●
●● ●● ● ●●●●
●●●●●
● ● ● ●
●● ● ● ● ● ● ● ● ● ●●● ●● ●
●
●
●
● ●
●●
●
●
●
●● ●
●●●●●
●
●●●
●
● ●●●● ●● ●●
●●●●
● ●●●●
●● ● ● ● ● ● ● ●
●● ●● ●●●● ●●● ●●●● ● ●●
●●●● ●● ●●●
●●●●●●
●●●
●●●
●●
● ●
●●
●●●
●●
●
● ●●
●●
● ● ● ●● ● ● ●●●● ●● ● ● ● ●●
● ●● ●●●●●●
●
●
●
●
●●
●●●● ●
●●● ● ● ●● ● ● ●●●● ●●
●●● ●
●●
●
●●● ●
●
●●●
●●
●
●
●●
●●●
● ●
●●
●●
●
●●
●
●●
● ● ● ● ●●● ●
● ● ● ●●
● ●●●● ●●●
● ● ● ●● ●● ● ● ●● ●●
●●●●●● ● ● ● ● ●● ● ●● ●●● ● ●●● ● ●●●
●● ●
● ● ● ●●
●● ●● ● ● ● ● ●● ●●
●● ● ● ● ● ● ●● ●● ●
● ●● ●
●●●● ●●●●●●●●
●●
●●●
●● ●●
●●●●
●
●● ● ● ● ●● ●
● ●●●
●●●●●●
● ●
●●●●
●
●
●●
●
●●
●
●●
● ●
●
●● ●●● ●
● ● ● ●●● ●●
●● ●● ● ●●● ● ● ● ●● ● ●● ●●
●
● ● ●●
●
● ●●●●●●
● ●●● ●●
●●● ● ●●● ●●● ●
●●●●●● ●●
●
● ●
●
●
● ●●
●●●●●
● ●
●● ●
● ● ● ● ●●
●● ●● ●
● ●●●
●● ●● ● ● ● ● ●●●●● ●
● ●● ●
●● ●●●●
● ●●●
●●●
●●
●
●
●
●●
●
●●●●●
● ●●
●●● ●●
●
●
●
● ● ● ●● ●●●● ●
●●●
●●
●●
●●●
●●
●
●
● ●
●●
●● ●●●●●●
●●●
●
●●
●
●
●
●
●
●●
●
●
●
●
●
●●●
●
● ●● ●●●
● ● ●● ●
●
●
● ●
● ● ●
●●● ●●
● ● ●● ● ●
● ● ● ●● ● ● ●● ● ● ●●●
●●
● ●●
●●
●●●●
●●●
● ●
●
●
● ●● ●●●●●●●●●●
●●●
●●● ●
● ●
● ●● ●●●●●●●
●● ●
●●●●●●
●
●●●●
● ● ●
●●
● ●●
●● ●● ●●
●
●
● ● ● ●● ●
●● ●● ● ● ● ● ●● ●●●●●●●● ●●
●●
●
●●●
● ● ●
●●●●
●● ●● ●●
●
● ●●● ●● ●
●● ● ● ● ● ● ● ● ● ●●●●●●● ●●
●
●
●●●● ● ●●●●●
●● ●
●●●●● ●●
●
●
● ●
●●● ● ● ●●● ●
●●
●●●●
●
●●
●●
● ●●●●
●●●●●● ●● ●●
● ● ● ● ●●
● ● ●●●● ● ● ● ● ● ●● ●● ●●●
● ●
● ●●●
● ●●●●●
●●
●●●●●
●●● ●● ● ●
●● ●● ●● ●● ●●● ●
●●
●● ●●●● ●● ●●
●
●●● ● ● ● ●●●●● ● ● ●● ●●
● ● ●●●
●● ●
●
●
●●● ● ● ● ●● ● ● ●● ●● ● ●●
●●
●● ●● ●
● ●● ● ● ●● ●● ●●●
● ●●● ●●●●●● ● ●● ●●●● ●
75 50 50
● ●● ● ●●●
● ●●●●
●● ●●●● ● ● ● ● ● ●● ●● ● ● ● ● ● ●●●
●●●
● ● ●● ●●●●
●● ●●●
● ● ●
● ● ●
● ● ● ● ● ●● ●●● ●●●●●● ●●●● ● ●
● ● ● ● ● ●● ● ● ● ● ● ● ● ●●
● ●● ●●
●●● ●●
●● ●● ●●●●●●●●
●●●
●●●
●●
●● ● ● ● ●● ●●●
●
●
●●
● ●●● ●●
●● ●● ●●●● ●●
● ●●● ●
● ● ● ● ● ● ●● ●
● ● ●●● ●● ● ●●●● ● ● ● ● ●● ●
● ●
● ● ●●● ● ● ●● ●● ●● ●● ●●● ● ●●
●● ●
●● ●● ●●
●●
●● ● ● ●● ●●●● ●●● ●●
● ● ●●●●●● ● ●●● ● ●●●
●●● ●●●●● ● ●● ●● ● ● ● ●●●●
● ● ● ●●●●●● ●●●●
●●● ●●● ● ● ●●
● ● ●● ●● ●●● ● ● ● ● ●● ●● ●●●●●●●● ●
● ●●●●●●● ● ● ● ● ● ●●●● ● ●
● ●●● ● ● ● ● ●● ● ● ● ●● ● ● ●●● ● ●● ●● ●●●●●●● ● ● ● ●●● ● ● ●
●● ● ● ●● ●● ● ●●● ● ●● ●●●● ●● ● ● ● ● ●
●● ● ●● ●
● ● ●●●● ●
●
● ● ● ● ● ●● ● ●●● ●● ● ● ● ● ● ● ●●
● ●●● ● ●● ●
●
● ● ● ● ● ● ● ●● ●●● ● ● ●● ● ● ●● ● ● ●● ● ●
●●
● ● ● ● ● ●
● ●●● ● ● ●● ● ● ● ●● ● ●● ● ● ●
● ● ● ● ●
● ● ● ● ●● ● ● ●● ● ● ●● ● ●
● ● ●● ● ●
● ● ●● ● ● ● ● ●●● ●●
●
● ●
● ●
● ● ● ●
●● ● ●● ●● ● ● ●●
● ● ● ● ●
●● ●●
●● ● ● ●● ● ●●
● ● ● ●● ●●● ● ●
●●
●●●●●● ●
● ●● ● ● ● ● ● ● ● ● ● ●
TOPM
TOPM
TOPM
● ● ●● ●
● ● ●● ● ● ●● ● ●●●
● ●
● ● ● ●● ●
● ● ●● ● ●●
● ●● ● ● ● ● ● ● ● ●
● ● ● ● ●● ● ● ● ● ● ●● ●
● ● ●● ●● ● ● ● ● ● ● ● ● ●
● ●
● ● ● ●● ● ● ●
●●● ● ● ● ● ●
● ● ● ● ● ● ● ● ●● ● ● ● ●●● ● ● ●
50 0
●
0
● ● ● ● ● ● ● ●
● ● ● ● ● ● ●
●
●
● ● ●
● ● ● ● ●● ●
●
●
● ● ● ● ● ● ● ●●●
● ● ● ● ● ● ● ●
●● ●
●
● ●● ● ● ● ●
● ● ● ● ● ● ●
● ● ●●●
● ● ●●● ● ●●
● ● ● ● ●●● ● ● ●
● ● ●
● ● ●
● ● ● ●
● ● ● ●
● ●● ● ●
● ● ●
● ● ● ● ●
●
● ● ● ● ●
●● ● ●
25 −50 ●
●
●
−50 ●
●
●
● ●
● ● ●
●
● ● ●
●
●
● ●
●
● ● ●
● ●
● ●
0 ● ●
−100 ●
−100
−1.0 −0.5 0.0 0.5 1.0 −1.0 −0.5 0.0 0.5 1.0 −1.0 −0.5 0.0 0.5 1.0
C2M C2M C2M
Figure 7.9: Impact of deterministic performance, as quantified by the bounded C2M quadratic
criterion, on the three performance criteria for the 907 catchments. Note that for easing
visualisation, the lower limits of AWI (b) and ISS (c) values are set to -100% but lower values
of AWI are obtained in 7 cases for both models, and lower values are obtained in 18 and 22
cases for GR4J and TOPMO respectively. 7
7.6 Conclusions
We evaluated the approach over a large set of 907 catchments by assessing three expected
qualities of uncertainty estimates, reliability, sharpness and overall skill. Our results demon-
strate that the method is generally able to reflect model errors at ungauged locations and
provide reasonable reliability. We applied two different rainfall- runoff models (GR4J and
TOPMO) to ensure that the presented results are not model-specific.
Although we used a transfer based on spatial proximity, the approach is independent of the
regionalisation scheme used to obtain deterministic prediction at ungauged locations, and
any other similarity measure could be a basis for transferring residual errors.
Last, we would like to stress that the results presented in this study are expressed in terms
of dimensionless measures. As such, they can provide a basis for future comparisons when
prediction in ungauged catchments with uncertainty estimates is performed.
7.7 Acknowledgments
The authors thank Météo-France for providing the meteorological data and Banque HYDRO
for the hydrological data. The financial support of SCHAPI to the first author is also gratefully
acknowledged.
8
I NCERTITUDE PRÉDICTIVE EN PRÉVISION DES
CRUES
8.1. Introduction 123
8.1 Introduction
Les travaux réalisés pendant la thèse de Berthet (2010) ont montré que la manière la plus
efficace de profiter de la connaissance des débits observés les plus récents était, pour le
modèle de prévision GRP, d’ajuster le niveau du réservoir de routage – l’état le plus à l’aval du
modèle. Cette approche de mise-à-jour directe s’est révélée plus performante que d’autres
méthodes d’assimilation probabilistes comme le filtre de Kalman ou le filtre à particules, et
est désormais considérée comme une composante à part entière du modèle de prévision. Elle
présente néanmoins un désavantage par rapport aux méthodes d’assimilation probabilistes :
elle est déterministe, et ne fournit pas d’estimation de l’incertitude prédictive.
Dans un contexte de prévision des crues, les forçages météorologiques utilisés par un modèle
hydrologique sont des prévisions forcément incertaines de l’évolution future de l’atmosphère.
La propagation de l’incertitude des prévisions météorologiques ne suffit cependant pas
à caractériser l’incertitude totale en prévision hydrologique. Même si on disposait d’une
connaissance parfaite des forçages météorologiques, les prévisions obtenues avec un modèle
hydrologique seraient imparfaites, puisqu’un modèle n’est qu’une représentation simplifiée
du fonctionnement complexe d’un bassin versant. Les deux principales sources d’incerti-
tude en prévision des crues sont la prévision des précipitations et le modèle hydrologique
utilisé (Krzysztofowicz, 1999).
8
Dans cette thèse, nous cherchons à quantifier l’incertitude du modèle de prévision GRP
lorsque les forçages météorologiques sont connus – étant entendu que cette connaissance
reste imparfaite en raison des limitations des systèmes et réseaux d’observations. Nous nous
sommes intéressés à des méthodes capables de produire des prévisions probabilistes, à partir
d’un modèle déterministe. Notre attention s’est portée sur les méthodes de post-traitement
124 Chapitre 8. Incertitude prédictive en prévision des crues
statistique. Dans un contexte de prévision des crues, les méthodes de post-traitement offrent
un compromis intéressant entre les approches qui ont l’ambition de séparer l’ensemble des
sources d’incertitude, et les approches plus globales de post-traitement des erreurs totales de
la chaîne de prévision (e.g., Fortin et al., 2006; Boucher et al., 2012; Brown et Seo, 2013).
Notre objectif est d’obtenir une série chronologique de distributions prédictives pour quan-
tifier l’incertitude de prévision. La distribution prédictive doit varier au cours du temps, et
en fonction de l’horizon de prévision, afin de refléter la manière dont varient les marges
d’erreurs selon les situations de prévision. La formulation explicite de ce problème peut
être attribuée à Krzysztofowicz (1999) qui propose de construire un modèle d’erreur du
modèle hydrologique utilisé, sous l’hypothèse que les pluies futures sont connues. Plusieurs
développements récents s’inspirent de cette approche.
Les méthodes de post-traitement statistique testées ici ont déjà été présentées dans le cha-
pitre 5. Par rapport à la comparaison réalisée dans un contexte de simulation, seule la mé-
thode de référence BC0.3 a été conservée. Par conséquent, six méthodes, dont les principales
caractéristiques sont rappelées dans la Table 8.1, sont comparées dans un contexte de prévi-
sion.
Méthode Caractéristiques
BC0.3 transformation Box-Cox (0.3), les erreurs suivent une distribution normale
MeGa transformation NQT, régression linéaire entre les erreurs et les débits simulés
MCP transformation NQT, régression linéaire entre les débits observés et simulés
RQ transformation NQT, regression quantile entre les erreurs et les débits simulés
CemaO distribution empirique des erreurs relatives
CemaM distribution empirique des erreurs relatives par tranches de débits
Nous avons appliqué les six méthodes de post-traitement aux chroniques de débits simulés
par le modèle GRP pour les 202 bassins versants français présentés au chapitre 2. Nous avons
utilisé la version opérationnelle du modèle GRP, qui comprend notamment un utilitaire de
calage automatique (voir chapitre 2). Les trois paramètres du modèle sont calés de manière
à minimiser les erreurs quadratiques pour un horizon de prévision que nous avons choisi,
pour cette étude, égal à 24 heures. Les travaux de Berthet (2010) ont montré l’intérêt de
caler les paramètres du modèle lors d’un fonctionnement en prévision (c’est-à-dire avec
assimilation des données) ; le choix d’un horizon de prévision de 24 heures permet d’obtenir
des performances équilibrées pour différents horizons de prévision.
8
Les échéances de 1h, 3h, 6h, 12h, 24h, et 48h ont été considérées pour l’application du post-
traitement. Il s’agit d’un compromis entre temps de calcul et représentativité de l’évolution
des résultats en fonction de l’horizon de prévision. La procédure classique de calage-contrôle
a été suivie sur la période 1996–2007, pour laquelle nous disposions des données au pas de
temps horaire.
126 Chapitre 8. Incertitude prédictive en prévision des crues
En prévision, les erreurs dépendent fortement de l’horizon, car l’effet des corrections asso-
ciées aux mises-à-jour du modèle disparaît progressivement. Nous en avons tenu compte en
appliquant les méthodes de post-traitement pour chaque horizon de prévision.
La Figure 8.1 résume les indices de fiabilité et de finesse obtenus avec les six méthodes testées,
sur les périodes de calage et de contrôle.
Pour toutes les méthodes, les indices de finesse se dégradent avec l’horizon de prévision.
Cela traduit logiquement le fait que les erreurs de prévision sont plus importantes à mesure
que les effets de l’assimilation de données se dissipent. Les méthodes MeGa, RQ, et CemaO
présentent les indices de finesse les plus élevés, tandis que les méthodes BC0.3 et MCP se
distinguent par de plus faibles indices. La méthode CemaM se situe entre ces différentes
méthodes.
L’évolution des indices de fiabilité selon les horizons de prévision diffère selon les méthodes.
Pour trois méthodes, MeGa, RQ, CemaO, les indices de fiabilité diminuent en calage avec
l’horizon de prévision, ce qui indique que les hypothèses sur lesquelles reposent les mé-
thodes sont moins bien adaptées aux erreurs plus complexes rencontrées aux horizons plus
lointains. On constate également une tendance à la baisse des indices de fiabilité pour la
méthode CemaM en contrôle ; le transfert temporel des marges d’erreurs est moins robuste
aux horizons les plus lointains, ce que nous attribuons à une plus grande variabilité des
erreurs rencontrées dans ces situations. Par ailleurs, les indices de fiabilité augmentent puis
diminuent pour la méthode BC0.3 , et présentent une nette tendance à la hausse pour la mé-
thode MCP. Ces situations traduisent également les évolutions complexes des distributions
d’erreurs selon l’horizon de prévision.
La Figure 8.2 présente les indices de performance globale obtenus avec les six méthodes
testées, sur les périodes de calage et de contrôle. Nous constatons que les indices de perfor-
mance globale suivent des tendances similaires aux indices de finesse : les performances
en terme de CRPSS se dégradent nettement, quelque soit la méthode, pour les horizons les
plus lointains. La valeur médiane du CRPSS passe par exemple, pour la méthode CemaM
en contrôle, de 0.89 pour un horizon de prévision de 6h, à 0.71 pour un horizon de 48h. Les
performances globales des différentes méthodes sont assez similaires ; seuls des gains de
8.3. Présentation des résultats 127
(a) Fiabilité
BC0.3 MeGa MCP RQ CemaO CemaM
100
90
80
CAL
70
60
Fiabα
100
90
80
VAL
70
60
1 3 6 12 24 48 1 3 6 12 24 48 1 3 6 12 24 48 1 3 6 12 24 48 1 3 6 12 24 48 1 3 6 12 24 48
(b) Finesse
BC0.3 MeGa MCP RQ CemaO CemaM
100
75
CAL
50
Finesse moyenne relative
25
100
75
VAL
50
25
1 3 6 12 24 48 1 3 6 12 24 48 1 3 6 12 24 48 1 3 6 12 24 48 1 3 6 12 24 48 1 3 6 12 24 48
F IGURE 8.1 – Boxplots (quantiles 5, 25, 50, 75 et 95%) des indices (a) de fiabilité et (b) de finesse
des distributions prédictives obtenues avec six méthodes de post-traitement statistique, pour
six horizons de prévision, deux périodes de calage (haut), et deux périodes d’évaluation (bas)
de cinq ans sur 202 bassins.
8
128 Chapitre 8. Incertitude prédictive en prévision des crues
performance sont à noter pour la méthode CemaM aux plus larges horizons.
75
CAL
50
25
CRPSS
0
100
75
VAL
50
25
0
1 3 6 12 24 48 1 3 6 12 24 48 1 3 6 12 24 48 1 3 6 12 24 48 1 3 6 12 24 48 1 3 6 12 24 48
F IGURE 8.2 – Boxplots (quantiles 5, 25, 50, 75 et 95%) des indices de performance globale
obtenus avec six méthodes de post-traitement statistique, pour six horizons de prévision,
deux périodes de calage (haut), et deux périodes d’évaluation (bas) de cinq ans sur 202
bassins versants.
Dans un contexte de prévision des crues, il est intéressant d’évaluer la capacité des approches
prédictives à prévoir des dépassements de seuils.
Le score de Brier a été calculé pour deux seuils qui correspondent, pour chaque bassin et
chaque période d’évaluation, aux quantiles 0.7, et 0.9 des débits observés sur la période
d’évaluation. Un seuil défini à partir du q 70 peut paraître assez faible ; il permet néanmoins
d’évaluer au sens large les périodes de hautes eaux. Le BSS (Brier Skill Score) présenté sur
la Figure 8.3 utilise la climatologie des débits comme référence. Des scores proches de 100
indiquent de bonnes performances, alors que des scores négatifs indiquent que la méthode
est moins performante qu’une approche où la même probabilité de dépassement, basée sur
la climatologie des débits, serait donnée à chaque instant de prévision.
La Figure 8.3 confirme que les performances se dégradent, pour toutes les méthodes et pour
8.3. Présentation des résultats 129
1h 3h 6h 12 h 24 h 48 h
100
80
q70
60
Brier Skill Score
40
100
80
q90
60
40
CemaM
CemaM
CemaM
CemaM
CemaM
CemaM
CemaO
CemaO
CemaO
CemaO
CemaO
CemaO
MeGa
MeGa
MeGa
MeGa
MeGa
MeGa
BC0.3
BC0.3
BC0.3
BC0.3
BC0.3
BC0.3
MCP
MCP
MCP
MCP
MCP
MCP
RQ
RQ
RQ
RQ
RQ
RQ
F IGURE 8.3 – Boxplots (quantiles 5, 25, 50, 75 et 95%) des Brier Skill Score obtenus avec six
méthodes de post-traitement statistique, pour six horizons de prévision et deux seuils de
débits sur 202 bassins.
8
130 Chapitre 8. Incertitude prédictive en prévision des crues
les deux seuils considérés, lorsque l’échéance de prévision augmente. La comparaison des
résultats obtenus avec les différentes méthodes indiquent que les méthodes MeGa, RQ et
CemaM sont globalement les plus satisfaisantes, mais les différences apparaissent faibles au
regard de la variabilité des performances que l’on peut constater suivant les bassins et les
périodes d’évaluation.
La méthode CemaM reflète la variabilité des marges d’erreurs suivant les valeurs du débit
prévu par le modèle. Faire dépendre l’incertitude prédictive du débit prévu relève du bon
sens hydrologique, et les autres méthodes de quantification de l’incertitude que nous avons
testées s’appuient également sur la valeur du débit prévu pour faire évoluer dans le temps les
distributions prédictives.
Il est néanmoins souhaitable d’aller vers une meilleure caractérisation de l’incertitude pré-
dictive. Comme le suggère par exemple Garçon et al. (2009), on peut s’attendre à ce que
l’incertitude dépende également du contexte hydrologique, et il semble dès lors souhaitable
de tenir compte de cette réalité hydrologique.
Nous décrivons à présent une extension de la méthode CemaM qui vise à mieux caractériser
les situations hydrologiques. Deux situations de prévision sont distinguées : la situation de
montée correspond au cas où le débit simulé pour l’horizon de prévision considéré est plus
important que le débit observé à l’instant de prévision, tandis que la situation de descente
correspond au cas contraire. La méthode CemaM est ensuite appliquée séparément à ces
deux échantillons d’erreurs. Nous appelons cette variante CemaS.
Pour quantifier les améliorations apportées par une meilleure caractérisation de l’incertitude
prédictive, nous avons calculé le rapport des indices de fiabilité, de finesse et de performance
globale obtenus avec les deux méthodes CemaM et CemaS. Un résumé des gains pour chaque
critère est présenté sur la Figure 8.4.
8.4. Vers une meilleure caractérisation de l’incertitude prédictive en prévision 131
50
25
10
0
−10 −8 −6 −4 −2 0 2 4 6 8 10
100
90
75
50
25
10
0
−60 −50 −40 −30 −20 −10 0 10 20 30 40 50 60
100
90
75
50
25
10
0
−30 −20 −10 0 10 20 30
On constate que la situation est contrastée en terme de gain de fiabilité, puisque des gains
positifs et négatifs sont obtenus aux horizons les plus courts, tandis que des pertes de fiabilité
sont plus fréquentes pour les horizons de 24 et 48h. On note toutefois que les gains, positifs
ou négatifs sont le plus souvent très limités, de l’ordre de quelques pourcents. Il n’y a a priori
pas de raisons évidentes qui pourraient expliquer d’importantes variations des indices de
fiabilité, puisque les deux méthodes utilisent la même manière de caractériser les distribu-
tions d’erreurs relatives. Il semble néanmoins que le fait de considérer séparément deux
échantillons différents conduise à une légère perte de robustesse aux plus longs horizons.
Les variations en terme de finesse sont nettement plus importantes. On note un déplacement
des indices vers les valeurs positives lorsque l’horizon de prévision augmente ; les distribu-
tions prédictives obtenues avec la méthode CemaS sont, dans la plupart des cas, plus fines
en moyenne que celles de la méthode CemaM à partir d’un horizon de 12h.
Enfin, nous constatons que les gains de performance – le score de performance étant le
CRPS moyen – sont, pour tous les horizons, positifs dans plus de 90% des cas, avec des gains
médians compris entre 5 et 10%. Les gains les plus importants apparaissent pour les plus
longs horizons.
La Figure 8.5 illustre les covariations des gains de fiabilité et finesse obtenus sur notre échan-
tillon de 202 bassins. Nous pouvons remarquer le déplacement des gains de finesse quand les
horizons augmentent, et la situation contrastée en terme de gains de fiabilité. Il est également
intéressant de constater que des gains de performance peuvent être obtenus lorsque des
gains de fiabilité et de finesse sont négatifs. Ces exemples sont rares mais nous rappellent la
difficulté d’évaluer toute la richesse de l’information apportée par les prévisions probabilistes.
Enfin, la Figure 8.6 présente les distributions des gains obtenus pour le score de Brier, pour
deux seuils de débits (q 70 et q 90 ), deux périodes, et six horizons de prévision. Les gains
sont positifs dans 90% des cas, quel que soit l’horizon et pour les deux seuils considérés,
et augmentent aux plus longues échéances. Les gains médians varient de 6 à 18% selon les
horizons pour le seuil q 70 , et de 5 à 9% pour le seuil q 90 .
8.5 Synthèse
20
10
1h
0
−10
−20
20
10
3h
0
−10
−20
20
10
6h
0
Gain de fiabilité (%)
−10
−20
20
10
12 h
0
−10
−20
20
10
24 h
−10
−20
20
10
48 h
−10
−20
−100 −50 0 50 100
8
Gain de finesse (%)
F IGURE 8.5 – Diagrammes en nuage de points des gains de fiabilité et finesse obtenus, sur
202 bassins et deux périodes d’évaluation de cinq ans, avec la méthode CemaS par rapport à
la méthode CemaM, pour six horizons de prévision (en ligne). La taille des points dépend du
gain de performance globale. Pour faciliter la visualisation, cinq indices de finesse inférieurs
à -100% ne sont pas présentés pour la première ligne (1h), et un indice de fiabilité égal à -30%
n’est pas présenté pour les deux dernières lignes (24 et 48h).
134 Chapitre 8. Incertitude prédictive en prévision des crues
75
q70
50
Fréquence cumulée (%)
25
10
0
100
90
75
q90
50
25
10
0
−40 −30 −20 −10 0 10 20 30 40
F IGURE 8.6 – Fréquences cumulées sur 202 bassins et deux périodes d’évaluation de cinq
ans, des gains sur le score de Brier obtenus avec la méthode CemaS par rapport à la méthode
CemaM, pour deux seuils de débits (ligne) et six horizons de prévision.
Les résultats obtenus mettent en évidence le fait que certaines méthodes ont plus de diffi-
cultés à refléter la diversité des situations rencontrées en prévision des crues que d’autres
méthodes plus flexibles, ce qui se traduit par de plus faibles indices de fiabilité. En particulier,
nos résultats suggèrent que l’attention doit être portée sur une estimation suffisamment
flexible des quantiles des distributions prédictives.
Nous avons également montré qu’il est possible d’améliorer la performance des prévisions
probabilistes obtenues avec une méthode de post-traitement statistique, en caractérisant de
manière plus réaliste les situations hydrologiques.
Il nous semble à ce stade essentiel de poursuivre à la fois les efforts de développements, et les
travaux de comparaison des méthodes de post-traitement en prévision hydrologique. Ces
travaux pourraient notamment s’inscrire dans le cadre de l’inter-comparaison des méthodes
de post-traitement actuellement menée au sein de l’initiative HEPEX (Van Andel et al., 2013).
9
I NVESTIGATING THE INTERACTIONS BETWEEN
Résumé
Nous étudions dans cet article dans quelle mesure l’assimilation de données et le post-
traitement statistique contribuent à la performance d’un système de prévisions hydrologiques
d’ensemble. Nous comparons, sur un large échantillon de bassins versants, quatres variantes
du système de prévision: sans assimilation de données et sans post-traitement, sans assimi-
lation de données mais avec post-traitement, avec assimilation de données mais sans post-
traitement, et enfin avec assimilation de données et post-traitement. Les résultats obtenus
indiquent que les deux stratégies agissent de manière complémentaire. L’assimilation de
données a un effet très positif, mais qui s’estompe rapidement, sur la justesse des prévisions,
tandis que le post-traitement a un effet bénéfique, et durable, sur la fiabilité des prévisions.
L’utilisation des ces deux méthodes est par conséquent recommandée pour la prévision
hydrologique d’ensemble.
Abstract
We investigate how data assimilation and post-processing contribute, either separately or to-
gether, to the skill of a hydrological ensemble forecasting system. Based on a large catchment
set, we compare four forecasting options: without data assimilation and post-processing,
without data assimilation but with post-processing, with data assimilation but without post-
processing, and with both data assimilation and post-processing. Our results clearly indicate
that both strategies have complementary effects. Data assimilation has mainly a very positive
effect on forecast accuracy. Its impact however decreases with increasing lead time. Post-
processing, by accounting specifically for hydrological uncertainty, has a very positive and 9
longer lasting effect on forecast reliability. As a consequence, the use of both techniques is
recommended in hydrological ensemble forecasting.
138 Chapter 9. Interactions between data assimilation and post-processing
9.1 Introduction
Although generally dealt with separately, statistical post-processing and data assimilation
(also called real-time model updating in the engineering community) can be intrinsically
related in the hydrological forecasting framework. Both represent techniques that may be
used in a forecasting system to improve the quality of the forecasts (i.e., to provide more
accurate and reliable forecasts) and to, ultimately, enhance the usefulness of the forecasts
in decision-making. Since forecasting deals with an uncertain future, these techniques aim
to bring additional information to the forecast procedure and take into account the various
uncertainty sources (or at least the major uncertainty sources) affecting the forecasting chain.
This is usually achieved by merging information from model and observations.
9.1. Introduction 139
While data assimilation and post-processing share a general goal, the techniques applied may
differ in the practice of hydrological forecasting. These differences usually draw the separa-
tion between what is defined as data assimilation and what is defined as post-processing in a
modelling framework. The definitions used in this study are the following: we use the term
“post-processing” when using the hydrological uncertainty processor (Section 9.2.4), whose
primary purpose is to dress deterministic forecasts with uncertainty based on distributions
of past model errors and, this way, build probabilistic forecasts. “Data assimilation” refers
to techniques applied to perform the updating of the system before it issues a deterministic
forecast. Here it concerns the state updating of the hydrological model and a model error
correction applied to its output (Section 9.2.3).
The fact that data assimilation has the potential to improve real-time streamflow forecast-
ing is widely accepted (see Liu et al., 2012, for a review). In contrast to probabilistic and
ensemble-based data assimilation methods (e.g., Weerts and El Serafy, 2006; Salamon and
Feyen, 2010; Moradkhani et al., 2012; Vrugt et al., 2013), deterministic updating schemes are
designed to improve forecasts without producing probabilistic outputs. They may be easier
to implement, mainly operationally, but at the price of leaving the uncertainty quantification
issue unanswered. In these cases, the use of statistical post-processing methods together with
data assimilation procedures provides a way to reduce and quantify the predictive uncertainty
in the hydrological forecasts.
In recent studies, the use of ensemble dressing has been implemented and tested to improve
the skill of hydrological ensemble forecasting systems. For instance, Reggiani et al. (2009)
present a Bayesian ensemble uncertainty processor for medium-range ensemble flow fore- 9
casts in the Rhine river basin. Hopson and Webster (2010) use an uncertainty processor
based on the k-nearest neighbors (k-NN) resampling method to dress probabilistic medium-
140 Chapter 9. Interactions between data assimilation and post-processing
range forecasts for two large basins in Bangladesh. Zalachori et al. (2012) compare different
strategies based on pre-and post-processing methods to remove biases in a streamflow en-
semble prediction system developed for reservoir inflow management in French catchments,
while Pagano et al. (2013) present a hydrological application of ensemble dressing for 128
catchments in Australia.
The studies mentioned above are similar in that they focus on post-processors for opera-
tional applications and on the overall evaluation of the quality of post-processed forecasts.
Like in the studies that develop and test data assimilation techniques, most of the forecast
assessment is on the benefits (in terms of quality) that post-processors or data assimilation
may bring to forecast quality (accuracy, reliability, sharpness, etc.) at fixed forecast lead
times. Little is known about the interactions between these two components of a forecasting
system and the impacts of implementing both post-processing and data assimilation on the
performance of the forecasts along the forecast lead times.
This study aims to shed light on the interactions between data assimilation and post-processing
in hydrological ensemble forecasting. We address the following questions:
3. How does data assimilation interact with post-processing to improve the quality and
skill of hydrological ensemble forecasts over the forecast lead times?
We address these questions with the help of a large set of catchments, making it possible to
draw more general and robust conclusions.
A set of 202 unregulated catchments spread over France was used (Figure 9.1). The catch-
ments represent various hydrological conditions, given the variability in climate, topography,
and geology in France. This set includes fast responding Mediterranean basins with intense
precipitation as well as larger, groundwater-dominated basins. Some characteristics of the
9.2. Data and methods 141
data set are given in Table 9.1. Catchments were selected to have limited snow influence,
since no snowmelt module was used in the hydrological modelling (Section 9.2.3).
!
!
! !
!
!
!
!
!
! ! ! !
!
! ! !
!
! ! !
! !
! !! ! !
! ! ! ! !!!
! ! ! ! ! !! ! !
! ! ! !
! ! ! ! ! !!
! ! ! ! ! ! !
! !! ! ! ! ! ! !
! !! ! ! !
!! ! ! ! !
!
! ! ! ! !
! ! !
! !
!
! ! !
! ! ! ! ! !!
! ! !
!
! !
! ! !
! !
! !
!
! !
! ! ! !
! ! ! ! !
! !
!
! ! !
! ! !! !
! ! !
!
! !
±
! !
!
! ! ! !
! !
! !
! ! !
! !! ! !
!
! !
!!
! !! ! !!
! ! ! !!
!
! ! ! !
! !
! ! ! !! !
!
! !
!
Kilometers
100 50 0 100 200 300
Figure 9.1: Locations of the 202 French catchments used in this study (dots correspond to the
gauging stations, and blue colour is catchment areas).
Potential evapotranspiration (PE), precipitation, and discharge data were available at hourly
time steps over the 1997–2006 period. Temperature inputs originate from the SAFRAN
reanalysis (Vidal et al., 2010). PE was estimated using a temperature-based formula (Oudin
et al., 2005). Precipitation data come from a reanalysis dataset recently produced by Météo- 9
France based on weather radar and rain gauge network (Tabary et al., 2012). River discharge
data were extracted from the HYDRO national archive (www.hydro.eaufrance.fr).
142 Chapter 9. Interactions between data assimilation and post-processing
Percentiles
0.05 0.25 0.50 0.75 0.95
Catchment area (km2 ) 31 108 245 653 3761
Mean annual precipitation (mm/y) 725 848 957 1158 1465
Mean annual potential evapotranspiration (mm/y) 645 668 701 745 828
Mean annual runoff (mm/y) 143 232 344 513 964
Q/P ratio 0.18 0.27 0.35 0.47 0.68
P/PE ratio 0.93 1.14 1.36 1.66 2.14
Mean elevation (m) 86 155 306 535 843
Discharge autocorrelation at 48 h 0.28 0.5 0.66 0.81 0.94
A short-range meteorological ensemble prediction system, the Météo-France PEARP EPS (Nico-
lau, 2002), was used to produce hydrological ensemble forecasts. The PEARP EPS runs once a
day at 18:00 UTC; it has 11 members, a 60 h forecast range, and a 0.25◦ (ca. 25 km in France)
grid resolution. A spatial disaggregation to an 8 km × 8 km grid, which includes bias cor-
rection, was applied to the PEARP forecasts. Bias correction was applied to precipitation
forecasts using a multiplying factor obtained from a comparison between the mean of the
PEARP ensemble and the Météo-France SAFRAN reanalysis over a complete year (March
2005–March 2006). Details can be found in Thirel et al. (2008). PEARP forecasts were available
over the 2005–2009 period, but only the period matching the observed data could be used
here, i.e. from August 2005 to December 2006.
PEARP forecasts were already used at the daily time step in recent hydrological studies (Thirel
et al., 2008; Randrianasolo et al., 2010). Overall, they showed good quality over France at this
time step. The quality for short-term forecasting at hourly time steps (with either raw and
post-processed forecasts) is first assessed here.
The GRP model is a continuous, lumped storage-type model designed for flood forecasting.
Its structure was derived from the GR4J model (Perrin et al., 2003) and is composed of a
production function and a routing function. The production function consists of a non-linear
soil moisture accounting (SMA) reservoir and a volume adjustment coefficient. The routing
function includes a unit hydrograph and a non-linear routing store. The GRP model uses
9.2. Data and methods 143
Importantly, the hourly version of the GRP model uses together two data assimilation proce-
dures for flood forecasting. The first exploits the last available observed discharge to directly
update the routing store state, and the second exploits the last relative error to correct the
model output with a multiplicative coefficient. More details about the forecasting model GRP
and the two assimilation procedures can be found in Berthet et al. (2009).
We used a hydrological uncertainty processor (HUP) to evaluate the conditional errors of the
hydrological model. Only hydrological uncertainty is considered by the HUP here since the
model is run with observed weather data. The meteorological uncertainty is subsequently
considered through the joint use of the HUP with the PEARP forecasts, as described in
Section 9.2.5. The HUP used here is a data-based and non-parametric method that was
applied by Andréassian et al. (2007) to assess model simulation uncertainties and compute
empirical uncertainty bounds to flow simulations. Here it is applied to produce probabilistic
flow forecasts. The basic idea is to estimate empirical quantiles of relative errors stratified
by different flow groups. The HUP is trained during the period used for calibrating the
parameters of the hydrological model (1997–2001). Note that it is possible that this approach
yield optimistic uncertainty estimates, since errors are usually larger during an independent
period than during the calibration period. Since forecast error characteristics vary with
forecast range when data assimilation is used, the HUP is trained at several lead times
separately.
1. The hydrological model is run with observed weather data as input and the time series
of relative errors is evaluated: Q f ct /Qobs , where (Q f ct , Qobs ) are the pairs of discharge
forecasts and observations.
9
2. The time series is stratified into 20 groups according to the magnitude of the Q f ct . The
limits of each group are fixed so that each group contains the same number of values.
144 Chapter 9. Interactions between data assimilation and post-processing
3. Within each group, an empirical distribution of relative errors is defined and 99 quan-
tiles are estimated (corresponding to the percentiles 1%, 2%, ..., 98%, 99%).
Application of the HUP for another forecast period is described by the last step:
4. Once defined during the training period, the empirical quantiles of relative errors
can be applied to any forecast discharge at a certain lead time. The limits of each
group are the same as those obtained during the training period. Note that when data
assimilation is not used, the empirical quantiles of relative errors are the same whatever
the forecast lead time is. Given a discharge forecast Q f ct , we first determine the flow
group Q f ct belongs to; then Q f ct is multiplied by the 99 quantiles of relative errors; the
99 values obtained describe the predictive distribution at the considered time step and
for a given forecast horizon. In cases of extrapolation (i.e., when the forecast discharge
is out of the range of the flow groups defined during the training phase of the HUP),
values of relative errors from the nearest flow groups (i.e., the lowest or the highest flow
groups) are used.
Preliminary studies carried out to compare this approach to other similar post-processing
approaches suggest that it can yield similar results in terms of forecast performance, while
being simpler in its application.
The ensemble dressing method is used as an integrator of the meteorological and hydrological
uncertainties. It consists in two steps. Firstly, each time an ensemble PEARP forecast is
available, the hydrological model is run with the ensemble forecast and the HUP is applied,
according to Step 4 of Section 9.2.4, to each of the 11 members of the ensemble for each lead
time considered. Secondly, the 11 × 99 values obtained at each lead time are pooled together
and an empirical cumulative distribution is estimated. From this distribution, 99 quantiles
are retained as the members of the dressed ensemble.
Application and evaluation of the ensemble dressing method for the ensemble forecasts is
done over an independent period, the 17-month period from August 2005 to December 2006.
9.2.6 Experiments
The hydrological ensemble forecast system combines meteorological and streamflow data
from observation networks, the Météo-France PEARP ensemble forecast, the GRP rainfall-
9.2. Data and methods 145
runoff model with its two data assimilation functions, the hydrological uncertainty processor
(HUP) and the ensemble dressing method. Hereafter we will use the term “post-processing”
to describe the joint use of the HUP and the ensemble dressing method, while the term “data
assimilation” will refer to the two updating techniques used in the GRP model.
In order to assess the benefits of data assimilation and post-processing, considered to-
gether or separately, different configurations of the forecasting chain were analyzed. Our
experiments comprise a chain without data assimilation and post-processing (NoDA-NoPP),
without data assimilation but with post-processing (NoDA-PP), with data assimilation but
without post-processing (DA-NoPP), and with both data assimilation and post-processing
(DA-PP). The characteristics of the experiments and the acronyms used are given in Table 9.2.
In particular, the NoDA-NoPP experiment corresponds to the situation where the hydrological
model is run in simulation mode, i.e., without using recent streamflow observations for data
assimilation, and is then driven by the PEARP ensemble forecast when the forecast is issued.
When data assimilation is used, the state of the routing reservoir of the hydrological model
is first updated based on the last observed discharge, and the second procedure is then
applied separately at each streamflow ensemble member. This structured analysis allows us
to identify the influence of data assimilation and post-processing separately to assess the
benefits of both components when used together in the forecasting chain.
Table 9.2: Acronyms used for the different experiments used in this study.
The evaluation of the performance of probabilistic forecasts should reflect the different facets
of probabilistic forecasts. In this study, the forecasts obtained from the four experiments set
up (Table 9.2) were evaluated with both deterministic and probabilistic scores. We aimed to
assess the influence of data assimilation and post-processing on the following characteristics
of ensemble forecasts: accuracy of the ensemble mean, overall sharpness and reliability of
the whole ensemble, and overall forecast quality of the ensemble.
More specifically, we evaluated the accuracy of the ensemble mean values with the relative 9
bias (BIAS) and the normalized root-mean-square error (NRMSE). To assess the overall
reliability of the forecasts, we used the Probability Integral Transform (PIT) diagram (see e.g.,
146 Chapter 9. Interactions between data assimilation and post-processing
Laio and Tamea, 2007; Thyer et al., 2009) and an index that quantifies deviation from the
ideal case, the alpha score (Renard et al., 2010). The overall sharpness of the forecasts was
measured with an index based on the interquartile range that we called normalized mean
interquartile range (NMIQR). Finally, we assessed the overall forecast quality of the whole
ensemble with the mean Continuous Rank Probability Skill Score (mean CRPSS). The mean
CRPSS is computed with the unconditional streamflow climatology as the reference. These
scores are presented in more details in Appendix 9.5.
Figure 9.2 shows the distributions of the two deterministic scores used to assess forecast
accuracy: the relative bias (BIAS) and the normalized root-mean-square error (NRMSE). Each
score is computed for lead times 6 h, 12 h, 24 h and 48 h and for all 202 catchments. The
distribution of the 202 values is summarized with boxplots.
We note that forecast accuracy decreases with increasing lead time for the four experiments.
For NoDA experiments (NoDA-NoPP and NoDA-PP), the loss of performance is quite limited:
it is only related to the decreasing performance of the PEARP ensemble precipitation forecasts.
For DA experiments (DA-NoPP and Da-PP), the decrease is stronger and the performances
converge toward those of NoDA experiments: the effects of the two DA procedures used
in the GRP forecasting model vanish with larger horizons; the decrease in performance of
the hydrological model is then added to the losses in performance of the PEARP ensemble
precipitation forecasts. Figure 9.2 also reveals that post-processing does not significantly
impact forecast accuracy, whether or not DA is used. DA has a much stronger impact on
the ensemble mean values than post-processing, especially for shorter lead times and, to
a lower extent, for larger lead times. The two DA procedures used in the GRP forecasting
model have been designed to improve the performance of deterministic forecasts and, as can
been seen, they clearly help improving the mean of the ensemble forecasts. Post-processing
on the other hand primarily aims to account for hydrological uncertainty. Its capability to
reduce overall bias and squared errors in the mean of the ensemble forecasts is limited here.
Nonetheless, for all lead times, forecast accuracy is best when DA and PP are used together,
which indicates the benefits of the combined use of data assimilation and post-processing.
9.3. Results and discussion 147
6h 12 h 24 h 48 h
2.0
1.5
BIAS
1.0
0.5
[−]
NRMSE
1
0
P
P
P
PP
PP
PP
PP
oP
oP
oP
oP
PP
PP
PP
PP
oP
oP
oP
oP
N
N
A−
A−
A−
A−
N
N
A−
A−
A−
A−
−
oD
oD
oD
oD
DA
DA
DA
DA
−
−
oD
oD
oD
oD
DA
DA
DA
DA
N
N
N
N
Figure 9.2: Distributions of two deterministic scores, the relative bias (BIAS) and the nor-
malized root-mean-square error (NRMSE), for ensemble streamflow forecasts from the four
experiments (see Table 9.2) and lead times 6 h, 12 h, 24 h and 48 h. Boxplots (5th, 25th, 50th,
75th and 95th percentiles) synthesize the variety of scores over the 202 catchments of the
data set.
9
148 Chapter 9. Interactions between data assimilation and post-processing
9.3.2 Reliability
Figure 9.3 presents the PIT diagrams obtained for each of the 202 catchments, when consid-
ering 24 h ahead ensemble forecasts. Similar figures were obtained for the other lead times
(not shown).
From Figures 9.3a and 9.3b, it can be seen that most of the curves are almost horizontal
straight lines, while they would follow the bisector (black lines in the graphs) in the ideal case
of reliable ensemble predictions. Figures 9.3a and 9.3b clearly reveal that the raw ensembles
are lacking reliability for all of the catchments. The impact of post-processing on reliability
is apparent when looking at the results in Figures 9.3c and 9.3d: the curves of the ensemble
streamflow forecasts with post-processing follow the ideal situation much more closely
than the curves shown in Figures 9.3a and 9.3b (ensemble streamflow forecasts without
post-processing). It means that the overall reliability of the ensembles is clearly improved
with post-processing and this for both cases, with and without DA. A comparison of solely
Figures 9.3c and 9.3d confirms also the positive impact of data assimilation on the reliability
of the ensembles: the PIT curves of the dressed ensembles are substantially closer to the
diagonal (perfect reliability) when DA is applied.
The PIT diagrams convey a visual evaluation of the overall reliability of probabilistic forecasts.
To quantify it, we used the alpha score, a reliability index that measures the deviation of the
PIT curves from the ideal situation. Figure 9.4 presents the distributions of the alpha scores
obtained for each experiment over the 202 catchments. Results in Figure 9.4 confirm the
visual evaluation obtained with the PIT diagrams: the two experiments that do not account
for hydrological uncertainty (NoDA-NoPP and DA-NoPP) lack reliability. Their alpha values
are almost always below 0.5, while the alpha values obtained when hydrological uncertainty
is taken into account (NoDA-PP and DA-PP) are almost always higher than 0.5. The benefits
of DA is also apparent when comparing, on one hand NoDA-NoPP and DA-NoPP, and on
the other hand NoDA-PP and DA-PP, although it can be also seen that DA alone (comparing
NoDA-NoPP to DA-NoPP) cannot correct under dispersion of the ensemble forecasts. Post-
processing is then a necessary step to achieve reliable forecasts in the forecasting chain
analyzed.
These results suggest that for the 202 catchments studied the spread obtained by propagating
solely the precipitation ensembles into the hydrological model is too small to properly reflect
the range of forecast errors. The deterministic data assimilation strategy used here is effective
in improving the reliability of the ensemble forecasts, but it is not sufficient to correct the
under dispersion of the streamflow ensemble forecasts as revealed by the PIT diagrams in
9.3. Results and discussion 149
0.6 0.6
0.4 0.4
0.2 0.2
0.0 0.0
0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6 0.8 1.0
0.8 0.8
0.6 0.6
0.4 0.4
0.2 0.2
0.0 0.0
0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6 0.8 1.0
Figure 9.3: PIT diagrams of the 24 h ahead streamflow ensemble forecasts from the four
experiments (see Table 9.2). Each line represents one of the 202 catchments of the data set.
9
150 Chapter 9. Interactions between data assimilation and post-processing
Figure 9.3 and the alpha scores in Figure 9.4. This is a strong indication that the hydrological
uncertainty issue should be specifically addressed in order to improve the overall reliability
of hydrological ensemble forecasts.
6h 12 h 24 h 48 h
1.00
0.75
alpha score [−]
0.50
0.25
0.00
P
P
P
PP
PP
PP
PP
oP
oP
oP
oP
PP
PP
PP
PP
oP
oP
oP
oP
N
N
A−
A−
A−
A−
N
N
A−
A−
A−
A−
−
oD
oD
oD
oD
DA
DA
DA
DA
−
−
oD
oD
oD
oD
DA
DA
DA
DA
N
N
N
N
Figure 9.4: Distributions of the alpha score reliability index for streamflow ensemble forecasts
from the four experiments (see Table 9.2) and for lead times 6 h, 12 h, 24 h and 48 h. Boxplots
(5th, 25th, 50th, 75th and 95th percentiles) synthesize the variety of scores over the 202
catchments of the data set. Perfect score is 1.0.
9.3.3 Sharpness
Sharpness is a desirable characteristic of any probabilistic forecast. The sharper the forecast,
the less uncertain it is, and thus the more information is conveyed. The four experiments
we used made it possible to investigate how meteorological and hydrological uncertainties
interact and affect sharpness. Figure 9.5 shows the distributions of a sharpness index, the
normalized mean interquartile range (NMIQR), over 202 catchments.
It can be seen that the ensemble spreads of three experiments, NoDA-NoPP, DA-NoPP and
DA-PP, increase significantly with increasing lead time, while it is more stable over lead times
for the experiment NoDA-PP. For NoDa-NoPP and DA-NoPP, the median value of NMIQR
over the 202 catchments raises in a very close behavior for both experiments, from around
0.05 for 6 h ahead forecasts to 0.13 for 48 h ahead forecasts. For the experiment DA-PP, the
increase in the median values is much more important: from 0.07 at 6 h to 0.32 at 48 h.
These results indicate that forecast uncertainty increases with increasing lead time as the
result of increasing meteorological uncertainty alone (NoDA-NoPP and DA-NoPP) or as the
result of increasing meteorological and hydrological uncertainties considered together and
9.3. Results and discussion 151
with DA (DA-PP). Comparing DA-NoPP and DA-PP reveals the impact of post-processing:
taking into account hydrological uncertainty leads to more spread and less sharpness in
ensemble forecasts. Comparing NoDA-NoPP and DA-NoPP shows that the propagation of
meteorological uncertainty has a rather similar impact on ensemble sharpness whether or
not DA is used to update the states of the forecasting model. Remarkably, the ensemble
spreads obtained without DA but with post-processing (NoDA-PP) is stable across the lead
times with a median value over the 202 catchments around 0.52. This is because statistical
post-processing reflects the large errors obtained when the forecasting model does not use
DA (see Figure 9.2). In this case, the spread obtained when taking hydrological uncertainty
into account is so large that the increasing spread of the PEARP ensemble forecasts with
increasing lead time has no visible impact on the spread of the post-processed ensemble:
hydrological uncertainty dominates meteorological uncertainty.
Not surprisingly, sharper forecasts are obtained when only meteorological uncertainty is
taken into account (NoPP experiments). This is to the detriment of reliability: ensemble
forecasts with only meteorological uncertainty are sharper but not reliable, reflecting the
presence of under dispersion (as shown in Section 9.3.2). The use of post-processing (PP
experiments) leads to ensembles that are more spread out because they attempt to handle
hydrological uncertainty and reflect hydrological forecast errors. Ensembles are thus less
sharp but, on the other hand, achieve reliability. At this point, it should be remembered that
sharp but unreliable forecasts should be considered with caution. Unreliable forecasts can
convey a wrong impression of certainty that results from having neglected one or several
important sources of uncertainty.
The analysis of the impacts of data assimilation and post-processing on two important char-
acteristics of probabilistic forecasts, reliability and sharpness, showed that post-processing
was necessary to improve reliability, but at the cost of lower sharpness, i.e., greater ensemble
spread and uncertainty, even if sharpness could be improved with the application of a data
assimilation procedure. We now turn our attention to the mean CRPSS, a probabilistic score
that provides an assessment of the overall quality of ensemble forecasts.
Figure 9.6 shows the distributions of the mean CRPSS over 202 catchments. We note that
performance decreases with increasing lead time for the two experiments with data assim- 9
ilation: median values of the CRPSS are equal to 0.84 (DA-NoPP) and 0.87 (DA-PP) for 6 h
range forecasts, and equal to 0.45 (DA-NoPP) and 0.57 (DA-PP) for 48 h range forecasts. Mean
152 Chapter 9. Interactions between data assimilation and post-processing
6h 12 h 24 h 48 h
0.9
NMIQR [−]
0.6
0.3
0.0
P
P
P
PP
PP
PP
PP
oP
oP
oP
oP
PP
PP
PP
PP
oP
oP
oP
oP
N
N
A−
A−
A−
A−
N
N
A−
A−
A−
A−
−
oD
oD
oD
oD
DA
DA
DA
DA
−
−
oD
oD
oD
oD
DA
DA
DA
DA
N
N
N
N
Figure 9.5: Distributions of the normalized mean interquartile range (NMIQR) for streamflow
ensemble forecasts from the four experiments (see Table 9.2) and for lead times 6 h, 12 h,
24 h and 48 h. Boxplots (5th, 25th, 50th, 75th and 95th percentiles) synthesize the variety of
scores over the 202 catchments of the data set. Perfect score is 0.
CRPSS values of the two experiments without data assimilation decrease only slightly but
are much lower than values obtained with data assimilation (median values around 0.10 for
NoDA-NoPP and around 0.45 for NoDA-PP). This is especially true for shorter lead times
and, to a lower extent, for larger lead times. Furthermore, the comparison with the reference
climatology shows that data assimilation alone is sufficient to generate skillful forecasts for
more than 95% of the catchments for lead times up to 24 h, but post-processing (DA-PP) is
necessary to achieve forecasts that have better overall performance than climatology at 48 h.
These results show the general added value of data assimilation and post-processing to
the overall quality of ensemble forecasts. When evaluating the overall quality of ensemble
forecasts with the CRPSS, the benefits in terms of reliability overcome the loss of sharpness
that results from accounting for hydrological uncertainty. The streamflow ensemble forecasts
that explicitly account for both sources of uncertainty, meteorological and hydrological
uncertainties, through post-processing, while reducing as much as possible hydrological
uncertainty, here through data assimilation, are the most skillful forecasts.
We investigated the relative contributions of data assimilation and post-processing to the skill
of hydrological ensemble forecasts. The study assessed the benefits of data assimilation and
9.4. Summary and conclusions 153
6h 12 h 24 h 48 h
1.0
Mean CRPSS [−]
0.5
0.0
−0.5
P
P
P
PP
PP
PP
PP
oP
oP
oP
oP
PP
PP
PP
PP
oP
oP
oP
oP
N
N
A−
A−
A−
A−
N
N
A−
A−
A−
A−
−
oD
oD
oD
oD
DA
DA
DA
DA
−
−
oD
oD
oD
oD
DA
DA
DA
DA
N
N
N
N
Figure 9.6: Distributions of the mean CRPSS for streamflow ensemble forecasts from the four
experiments (see Table 9.2) and for lead times 6 h, 12 h, 24 h and 48 h. Boxplots (5th, 25th,
50th, 75th and 95th percentiles) synthesize the variety of scores over the 202 catchments of
the data set. Perfect score is 1.0.
– We verify the well-known fact that short-range hydrological forecasts benefit from data
assimilation. Data assimilation has a strong impact on improving the quality of the
ensemble mean, and a much lesser effect on the variability of the ensemble members
(i.e., their spread).
– The benefits of a simple yet efficient hydrological uncertainty processor to improve the
reliability and the overall quality of the short-range hydrological ensemble forecasts
were demonstrated. Post-processing has a strong impact on forecast reliability.
– The benefits of the combined use of data assimilation and post-processing were demon-
strated: both contribute to achieve reliable and sharp forecasts, with impacts acting
differently according to the target lead time. The stronger impact on forecast reliability
comes from the use of post-processing. Adding data assimilation to the system helps in 9
improving sharpness and reliability at all lead times, with higher gains in performance
at shorter lead times.
154 Chapter 9. Interactions between data assimilation and post-processing
We acknowledge some limitations. It was only possible to evaluate the forecasting chain
over a 17-month period of ensemble forecasts, since this was the common period between
observations and forecasts we had available. Furthermore, PEARP ensembles are ran only
once a day, which limits the number of hourly evaluation pairs. For these reasons, it was not
possible to evaluate flows over specific flooding thresholds. However, with increasing data
archives, we expect that such an issue will be treated in future work.
Our study considered only one data assimilation technique (state updating with error output
correction) and one post-processing method (ensemble dressing with hydrological errors)
together with one rainfall-runoff model forecasting (GRP model). There are several other
techniques and models in the literature that could also be tested using the methodology
presented here. For instance, a comparison between different configurations of the method
used, or different hydrological uncertainty processors, including methods that take into
account the autocorrelation of errors (e.g., Schoups and Vrugt, 2010) could be investigated.
Besides, while a bias correction was applied to the PEARP forecasts, a more sophisticated
pre-processor (see e.g., Verkade et al., 2013) could be used to further investigate how meteoro-
logical and hydrological biases interact and contribute to the quality of the final hydrological
ensemble.
Although our findings may be related to the configuration used, they are based on common
techniques and on the study of a large set of catchments, which helps in giving robustness and
generality to the results obtained. The study also shows that, for a given system configuration,
it is interesting to analyze how data assimilation and/or post-processing techniques set
up to improve forecast quality affect the attributes of the forecasts and interact to provide
overall good forecasts. The aim of a forecaster may then be to achieve a good combination
of hydrological model, data assimilation and post-processing procedures that results in an
overall good quality of his/her operational system (eventually over specific space and time
9.5. Appendix: Evaluation scores 155
scales of interest), rather than to search for the best data assimilation technique or post-
processor available, without taking into account how they will interact between them and
with the probabilistic forecasting system as a whole.
Despite those limitations, our results strongly suggest that data assimilation and post-
processing techniques based on hydrological uncertainty processors should be more widely
tested to foster their implementation in pre-operational and operational hydrological en-
semble forecasting systems and their use in real-time probabilistic forecasting. The use of
both strategies is highly recommended since they have complementary effects: data assim-
ilation has a very positive effect on forecast accuracy, and thus helps reduce hydrological
uncertainty, but its impact diminishes with lead time, while post-processing, by accounting
for hydrological uncertainty, has a very positive and longer lasting efficient effect on forecast
reliability.
The evaluation scores used in this article are defined and briefly described below. For more
details, the reader may refer to Wilks (2011).
The relative bias (BIAS) is defined as the ratio between the mean of deterministic forecasts
and the mean of observations,
PN
k=1
Q f ct (k)
BIAS = PN (9.1)
k=1
Qobs (k)
¡ ¢
where Q f ct (k), Qobs (k) is the kth of N pairs of deterministic forecasts and observations.
9
Values higher (lower) than 1 indicate an overall overestimation (underestimation) of the
observed values.
156 Chapter 9. Interactions between data assimilation and post-processing
The root-mean-square error (RMSE) is a widely used measure of accuracy for point forecasts,
" #1/2
1 XN ¡ ¢2
RMSE = Q f ct (k) − Qobs (k) (9.2)
N k=1
¡ ¢
where Q f c t (k), Qobs (k) is the kth of N pairs of forecasts and observations.
The lower the RMSE, the better. For a perfect deterministic forecast, RMSE = 0.
The normalized root-mean-square error (NRMSE) is obtained by dividing the RMSE by the
mean runoff. The use of a non-dimensional score facilitates the comparison of the results
obtained over different catchments.
The Probability Integral Transform (PIT) diagram is a graphical tool used to assess the relia-
bility of probabilistic forecasts (Gneiting et al., 2007; Laio and Tamea, 2007). The PIT diagram
corresponds to the empirical cumulative distribution of the PIT values, which are defined for
each pair of forecasts and observations as the value that the cumulative predictive distribu-
tion F reaches at the observation, p obs = F(Qobs ). It is analogous to a cumulated version of
the rank histogram. If the forecasts are reliable, the PIT values follow a uniform distribution
on the interval [0, 1] and the PIT curve is close to the 1:1 line. Reliability of the probabilistic
forecasts implies that the observations should not be preferentially located in specific parts
of the predictive distributions, but instead should uniformly span the whole predictive range.
The alpha score is an index proposed by Renard et al. (2010) to reflect the overall reliability of
probabilistic forecasts. The alpha score is directly related to the PIT diagram. It is defined as
1 − 2A, where A is the area between the bisector and the PIT curve,
1 XN ¯ ¯
¯ obs
A= ¯p (k) − p t h (k)¯ (9.3)
¯
N k=1
and where p obs (k), p t h (k) is the kth of N pairs of observed and theoretical PIT values.
¡ ¢
The alpha score ranges from 0 to 1. 0 indicates poor reliability while values close to 1 indicate
perfect reliability.
9.5. Appendix: Evaluation scores 157
To assess the sharpness of probabilistic forecasts, we defined the mean interquartile range
(MIQR) as the mean of the interquartile range of forecasts over the evaluation data. The
interquartile range, defined as the range between the upper quartile (75th percentile) and
the lower quartile (25th percentile) of a distribution, is a robust measure of the spread of a
distribution. MIQR is computed as
1 XN ¡
Q75 25
¢
MIQR = f ct (k) − Q f ct (k) (9.4)
N k=1
Similarly to the NRMSE, we divided the MIQR by the mean runoff to obtain an a non-
dimensional score.
For a forecast–observation evaluation pair, the Continuous Rank Probability Score (CRPS) (e.g.,
Matheson and Winkler, 1976; Gneiting et al., 2007) measures the quadratic distance between
two cumulative distribution functions, the cumulative predictive distribution F(x) and a
Heaviside function based on the observed value 1{Qobs É x}:
Z ∞ ¡ ¢2
CRPS(F, Qobs ) = F(x) − 1{Qobs É x} d x (9.5)
−∞
The mean CRPS, CRPS, is the average value of the CRPS over the N pairs of evaluation data:
1 XN
CRPS = CRPS(k) (9.6)
N k=1
The mean Continuous Rank Probability Skill Score (CRPSS) is a skill score based on the CRPS.
Skill scores (SS) are used to assess the relative quality of two forecasting systems. They are
generally defined as:
ScoreA
SS = 1 − (9.7)
ScoreB
A B
9
where Score and Score are the scores of the forecasting system A and B respectively. The
forecasting system B is usually termed the reference forecast.
158 Chapter 9. Interactions between data assimilation and post-processing
Climatology is commonly used as a reference. To compute the mean CRPSS with the un-
conditional climatology as the reference, an unconditional streamflow ensemble forecast is
first obtained from the empirical distribution of all observed discharges over the evaluation
period, and then used for all forecast occasions.
9.6 Acknowledgments
The authors thank Météo-France for providing the meteorological data and Banque HYDRO
for the hydrological data. The financial support of SCHAPI to the first author is also gratefully
acknowledged.
C ONCLUSION GÉNÉRALE
Conclusion générale 161
Dans cette thèse, nous nous sommes intéressés à différentes méthodes de quantification de
l’incertitude prédictive. Nous avons cherché à mettre en évidence, à l’aide d’une approche
comparative, leurs forces et leurs faiblesses. L’objectif de nos travaux était de proposer, au
final, une approche suffisamment simple et générale pour être applicable à des bassins
versants variés, et à divers modèles, dans des contextes de simulation et de prévision.
Résultats obtenus
Nous nous sommes en particulier interrogés sur l’interprétation du diagramme de PIT qui est
couramment utilisé pour évaluer un attribut essentiel des prévisions probabilistes, la fiabilité.
Nous avons mis en évidence que certaines limitations du diagramme de PIT peuvent mener
à une évaluation trop optimiste de certains systèmes de prévision, et qu’une analyse plus
détaillée est nécessaire pour éviter ces écueils. Nous nous sommes appuyés sur ces travaux
pour définir un indice de fiabilité utilisé lors de la comparaison des différentes méthodes
testées.
Dans un contexte de simulation hydrologique, nos travaux ont montré que les approches qui
ne s’appuient que sur un ensemble de différents jeux de paramètres ne parviennent pas, en
général, à représenter de manière adéquate l’incertitude prédictive totale. A cet égard, l’ap-
proche bayésienne est plus satisfaisante que la méthode GLUE, car elle complète l’incertitude
liée à l’estimation des paramètres par une incertitude globale portée par un modèle d’erreur.
Les méthodes de post-traitement s’appuient uniquement sur un modèle d’erreur extérieur au
fonctionnement interne du modèle hydrologique. Lorsqu’elles sont suffisamment flexibles,
ces méthodes parviennent à caractériser les erreurs résiduelles obtenues lors du calage du
modèle hydrologique utilisé, ce qui permet de refléter les marges d’erreurs effectivement
constatées.
Nous nous sommes appuyés sur ces résultats pour proposer une méthode de quantification
162 Conclusion générale
de l’incertitude prédictive pour les bassins non-jaugés. Cette nouvelle approche repose
sur un transfert géographique des erreurs relatives constatées pour des stations jaugés aux
stations non-jaugés. En cela, la méthode étend et complète les approches de régionalisation
utilisées pour obtenir des simulations pour les bassins non-jaugés. Cette approche contraste
notamment avec les méthodes proposées jusqu’ici, qui s’appuient uniquement sur une
quantification de l’incertitude liée à l’estimation des paramètres et qui sont donc sujettes aux
mêmes limitations que les méthodes similaires appliquées pour les bassins jaugés.
Enfin, nous avons étudié les interactions entre l’assimilation de données et le post-traitement
d’un modèle de prévision au sein d’une chaîne de prévision hydrologique d’ensemble. Les
résultats obtenus indiquent que les deux stratégies agissent de manière complémentaire ; leur
utilisation est donc recommandée dans une chaîne de prévision hydrologique d’ensemble.
Quelques perspectives
Nous évoquons à présent quelques perspectives aux travaux menés pendant cette thèse.
Par ailleurs, il nous semble que la méthode proposée pour quantifier l’incertitude prédictive
des bassins non-jaugés mériterait d’être comparée aux autres méthodes proposées dans la
littérature, afin de mieux mettre en évidence les avantages et les limitations des différentes
approches. Il serait intéressant d’étudier dans quelle mesure la méthode proposée permet
d’améliorer la fiabilité de l’incertitude prédictive par rapport aux méthodes qui ne s’appuient
que sur des ensembles de paramètres.
Conclusion générale 163
Enfin, la mise en œuvre opérationnelle des méthodes de post-traitement que nous avons
testées dans cette thèse pourrait contribuer à accompagner les Services de Prévision des
Crues (SPC) et le Service Central Hydrométéorologique d’Appui à la Prévision des Inondations
(SCHAPI) dans leur évolution vers un affichage et une communication des prévisions des
crues et des incertitudes associées.
R ÉFÉRENCES BIBLIOGRAPHIQUES
B ATES, B. C. et E. P. C AMPBELL : A Markov chain Monte Carlo scheme for parameter estimation
and inference in conceptual rainfall-runoff modeling. Water Resources Research, 37(4):937–
947, 2001. Cité p. 16.
B ECK, M. B. : Water quality modeling : A review of the analysis of uncertainty. Water Resources
Research, 23(8):1393–1442, 1987. Cité p. 9.
B ERTHET, L. : Prévision des crues à pas de temps fin : comment mieux assimiler l’information
de débit dans un modèle Pluie - Débit ? Thèse de doctorat, AgroParisTech/ENGREF, Paris,
2010, 603 pp. Cité pp. 27, 37, 38, 123, 125 et 192.
B ERTHET, L., V. A NDRÉASSIAN, C. P ERRIN et P. J AVELLE : How crucial is it to account for the
antecedent moisture conditions in flood forecasting ? Comparison of event-based and
continuous approaches on 178 catchments. Hydrology and Earth System Sciences, 13
(6):819–831, 2009. Cité pp. 60 et 143.
165
166 Références bibliographiques
B ERTHIER, C.-H. : Quantification des incertitudes des débits calculés par un modèle pluie-
débit empirique. Mémoire de D.E.A., Université Paris-Sud 11, 2005, 55 pp. Cité pp. 14,
79 et 201.
B EVEN, K. et A. B INLEY : The future of distributed models : model calibration and uncertainty
prediction. Hydrological Processes, 6(3):279–298, 1992. Cité p. 13.
E WEN, J. et G. O’D ONNELL : Prediction intervals for rainfall-runoff models : raw error method
and split-sample validation. Hydrology Research, 43(5):637–648, 2012. Cité pp. 106, 107,
124 et 138.
F ORTIN, V., A.-C. FAVRE et M. S AID : Probabilistic forecasting from ensemble prediction
systems : Improving upon the best-member method by using a different weight and dres-
sing kernel for each member. Quarterly Journal of the Royal Meteorological Society, 132
(617):1349–1369, 2006. Cité pp. 124 et 139.
G ELMAN, A., J. B. C ARLIN, H. S. S TERN et D. B. RUBIN : Bayesian Data Analysis. Chapman &
Hall/CRC, 2nd édn, 2004. ISBN 1-584-88388-X (rel). Cité p. 75.
51 et 114.
G OTZINGER, J. et A. B ARDOSSY : Generic error model for calibration and uncertainty estima-
tion of hydrological models. Water Resources Research, 44:W00B07, 2008. Cité p. 10.
170 Références bibliographiques
H AARIO, H., M. L AINE, A. M IRA et E. S AKSMAN : DRAM : Efficient adaptive MCMC. Statistics
and Computing, 16(4):339–354, 2006. Cité p. 75.
H ALL, J., E. O’C ONNELL et J. E WEN : On not undermining the science : coherence, validation
and expertise. Discussion of Invited Commentary by Keith Beven Hydrological Processes,
20, 3141-3146 (2006). Hydrological Processes, 21(7):985–988, 2007. Cité p. 4.
H OPSON, T. M. et P. J. W EBSTER : A 1-10-Day Ensemble Forecasting Scheme for the Major River
Basins of Bangladesh : Forecasting Severe Floods of 2003-07. Journal of Hydrometeorology,
11(3):618–641, 2010. Cité pp. 124 et 139.
K UCZERA, G., D. K AVETSKI, S. F RANKS et M. T HYER : Towards a Bayesian total error analysis of
conceptual rainfall-runoff models : Characterising model error using storm-dependent
parameters. Journal of Hydrology, 331(1-2):161–177, 2006. Cité pp. 17 et 18.
L E M OINE, N. : Le bassin versant de surface vu par le souterrain : une vois d’amélioration des
performances et du réalisme des modèles pluie-débit ? Thèse de doctorat, Université Pierre
et Marie Curie, Paris, 2008, 324 pp. Cité pp. 26, 30, 36 et 75.
L IU, Y. L., J. F REER, K. B EVEN et P. M ATGEN : Towards a limits of acceptability approach to the
calibration of hydrological models : Extending observation error. Journal of Hydrology, 367
(1-2):93–103, 2009. Cité p. 15.
M ANTOVAN, P., E. T ODINI et M. L. V. M ARTINA : Reply to comment by Keith Beven, Paul Smith
and Jim Freer on "Hydrological forecasting uncertainty assessment : Incoherence of the
GLUE methodology". Journal of Hydrology, 338(3-4):319–324, 2007. Cité p. 15.
107 et 138.
O UDIN, L., A. K AY, V. A NDRÉASSIAN et C. P ERRIN : Are seemingly physically similar catchments
truly hydrologically similar ? Water Resources Research, 46:W11558, 2010. Cité p. 109.
P ERRIN, C. : Vers une amélioration d’un modèle global pluie-débit au travers d’une approche
comparative. Thèse de doctorat, INPG, Grenoble, 2000, 530 pp. Cité pp. 78 et 79.
R EGGIANI, P., M. R ENNER, A. H. W EERTS et P. van G ELDER : Uncertainty assessment via Baye-
sian revision of ensemble streamflow predictions in the operational river Rhine forecasting
system. Water Resources Research, 45:W02428, 2009. Cité p. 139.
TABARY, P., P. D UPUY, G. L’H ENAFF, C. G UEGUEN, L. M OULIN, O. L AURANTIN, C. M ERLIER et J.-
M. S OUBEYROUX : A 10-year (1997-2006) reanalysis of Quantitative Precipitation Estimation
over France : methodology and first results. In Weather Radar and Hydrology, vol. 351, p.
255–260. IAHS, 2012. ISBN 0144-7815. Cité pp. 26, 59 et 141.
T HIELEN, J., J. S CHAAKE, R. H ARTMAN et R. B UIZZA : Aims, challenges and progress of the Hy-
drological Ensemble Prediction Experiment (HEPEX) following the third HEPEX workshop
held in Stresa 27 to 29 June 2007. Atmospheric Science Letters, 9(2):29–35, 2008. Cité p. 11.
T ODINI, E. : Hydrological catchment modelling : past, present and future. Hydrology and
Earth System Sciences, 11(1):468–482, 2007. Cité p. 4.
180 Références bibliographiques
W EERTS, A. H. et G. Y. H. E L S ERAFY : Particle filtering and ensemble Kalman filtering for state
updating with hydrological conceptual rainfall-runoff models. Water Resources Research,
42(9):W09403, 2006. Cité pp. 18 et 139.
W ILKS, D. S. : Statistical methods in the atmospheric sciences. Academic, Oxford, 3rd édn,
2011. Cité pp. 45, 58 et 155.
X IONG, L. H., M. WAN, X. J. W EI et K. M. O’C ONNOR : Indices for assessing the prediction
bounds of hydrological models and application by generalised likelihood uncertainty
estimation. Hydrological Sciences Journal-Journal Des Sciences Hydrologiques, 54(5):852–
871, 2009. Cité p. 14.
183
184 Annexe A. Compléments au chapitre 2
TABLE A.1: Liste des 202 bassins versants. S désigne la surface, Z l’altitude moyenne et P,
E et Q désignent respectivement les moyennes annuelles des précipitations, de l’évapo-
transpiration potentielle et des débits.
188 Annexe A. Compléments au chapitre 2
Cette présentation du fonctionnement du modèle GR4J est issue de Perrin et al. (2003) (voir
également le site de l’équipe : http://webgr.irstea.fr).
E P
Interception
En Pn
Es Ps Pn − Ps
Réservoirgdeg
X1
production S
Perc Pr
0.9 0.1
HU1 HU2
X4 2 · X4
Q9 Q1
Réservoirgdeg
X3
routage R F(X2) F(X2)
Qr Qd
Les équations suivantes correspondent aux équations intégrées sur un pas de temps.
A.2. Fonctionnement du modèle GR4J 189
La première opération est la neutralisation de P par E pour déterminer une pluie nette Pn et
une évapotranspiration nette En , calculées par :
Si P > E alors Pn = P − E et En = 0
Si P < E alors Pn = 0 et En = E − P
Dans le cas où Pn est différente de zéro, une partie Ps de Pn alimente le réservoir de production
et est calculée par :
µ µ ¶2 ¶ µ ¶
S Pn
1− · tanh
X1 X1
Ps = X1 · µ ¶ (A.1)
S Pn
1+ · tanh
X1 X1
Dans le cas contraire, lorsque En est différent de zéro, une quantité d’évaporation E s est
retirée du réservoir de production. Elle est donnée par :
S 2
µ µ
¶ ¶ µ ¶
En
2− · tanh
X1 X1
Es = S · µ ¶ µ ¶ (A.2)
S En
1+ 1− · tanh
X1 X1
S = S − E s + Ps (A.3)
S = S − Perc (A.5)
190 Annexe A. Compléments au chapitre 2
Pr est divisée en deux composantes d’écoulement, 90% étant routés par un hydrogramme
unitaire HU1 et un réservoir de routage et 10% par un unique hydrogramme unitaire HU2.
HU1 et HU2 dépendent du même paramètre X4, temps de base de HU1 exprimé en jours.
Les ordonnées des hydrogrammes sont calculées à partir des courbes en S (cumul de la
proportion de la pluie unitaire traitée par l’hydrogramme en fonction du temps), notées
respectivement SH1 et SH2 :
0 : t ≤0
µ ¶ 25
t
SH1(t ) = : 0 < t < X4 (A.7)
X4
1 : t ≥ X4
0 : t ≤0
¶5
1 t 2
µ
: 0 < t ≤ X4
SH2(t ) = 2 X4 (A.8)
¶5
t 2
µ
1
1− 2− : X4 < t < 2X4
2 X4
1 : t ≥ 2X4
où j est un entier.
µ ¶7
R 2
F = X2 · (A.9)
X3
d’échange en eau qui peut être positif dans le cas d’apports, négatif dans le cas de pertes vers
des nappes profondes ou nul.
Le niveau dans le réservoir de routage est mis à jour en ajoutant la sortie Q9 de l’hydrogramme
HU1 et F :
R = max(0; R + Q9 + F) (A.10)
R = R − Qr (A.12)
La sortie Q1 de l’hydrogramme HU2 est soumise au même échange pour donner la compo-
sante d’écoulement Qd :
Qd = max(0; Q1 + F) (A.13)
Q = Qr + Qd (A.14)
192 Annexe A. Compléments au chapitre 2
E P
Interception
En Pn
Es Ps Pn − Ps
Réservoir de
275 mm S
production
Perc Pr
Ajustement du CORR
volume Pr *CORR
Hydrogramme
unitaire
Mise à jour TB
Réservoir de
ROUT
routage R
Correction
Les équations suivantes correspondent aux équations intégrées sur un pas de temps.
A.3. Fonctionnement du modèle GRP 193
La première opération est la neutralisation de P par E pour déterminer une pluie nette Pn et
une évapotranspiration nette En , calculées par :
Si P > E alors Pn = P − E et En = 0
Si P < E alors Pn = 0 et En = E − P
Dans le cas où Pn est différente de zéro, une partie Ps de Pn alimente le réservoir de production
et est calculée par :
µ µ ¶2 ¶ µ ¶
S Pn
1− · tanh
A A
Ps = A · µ ¶ (A.15)
S Pn
1 + · tanh
A A
Dans le cas contraire, lorsque En est différent de zéro, une quantité d’évaporation E s est
retirée du réservoir de production. Elle est donnée par :
µ µ ¶2 ¶ µ ¶
S En
2− · tanh
A A
Es = S · µ ¶ µ ¶ (A.16)
S En
1+ 1− · tanh
A A
S = S − E s + Ps (A.17)
où K = A/5.25
S = S − Perc (A.19)
194 Annexe A. Compléments au chapitre 2
Le niveau dans le réservoir de routage est mis à jour en ajoutant la sortie de l’hydrogramme
HU et se vidange ensuite en une sortie Qprev donnée par :
R2
Qprev = (A.22)
R + ROUT
Deux procédures de mises-à-jour sont utilisées dans le fonctionnement du modèle GRP pour
la prévision en temps réel.
La mise-à-jour du réservoir de routage est directe, c’est-à-dire qu’elle vise à ajuster le niveau
du réservoir de routage en fonction du dernier débit observé Qobs . Le réservoir de routage
étant quadratique, on obtient :
2 · ROUT
Rmaj = q (A.23)
1 + 1 + 4 · ROUT
Qobs
A.3. Fonctionnement du modèle GRP 195
Cet ajustement est réalisé chaque fois qu’un débit observé est disponible à l’instant de
prévision.
197
198 Annexe B. Compléments au chapitre 5
Selon le paradigme bayésien, l’incertitude sur des paramètres inconnus, traités comme des
variables aléatoires, s’exprime par une densité de probabilité. La densité de probabilité a
posteriori est obtenue lors du processus d’inférence à partir d’une loi a priori et de l’expression
d’une fonction de vraisemblance f (x) qui correspond à la densité de la loi de probabilité des
observations x utilisées pour l’inférence.
f (x|θ)π(θ)
π(θ|x) = R (B.1)
f (x|θ)π(θ)d θ
où n est le nombre de pas de temps, Qo,t et Qs,t (θ) sont respectivement le débit observé et
le débit simulé avec les paramètres θ, et ²t (θ) désigne l’erreur additive résiduelle, au pas de
temps t .
Dans un tel cadre de modélisation déterministe, ce sont les hypothèses faites sur la distribu-
tion des erreurs résiduelles qui déterminent l’expression de la fonction de vraisemblance.
Lorsque les erreurs résiduelles sont supposées être des réalisations indépendantes d’une loi
normale, qu’aucune information sur la distribution a priori des paramètres n’est utilisée, et
que la contribution de la variance des résidus est marginalisée, la densité de probabilité a
posteriori des paramètres libres du modèle est liée aux critères de performance quadratiques.
Le développement ci-dessous suit la présentation de Kavetski et al. (2006a).
Suivant les hypothèses énoncées ci-dessus, les erreurs ²t suivent une loi normale de densité
x2
µ ¶
1
f (x) = p exp − 2 (B.3)
2πσ2 2σ
En utilisant la loi a priori suivante pour σ2 , p(σ2 ) ∝ 1/σ2 , connue sous le terme de prior non
B.1. Inférence bayésienne 199
informatif de Jeffrey, et en considérant que les erreurs sont indépendantes, la densité jointe
des paramètres p(θ, σ2 |D) s’exprime par :
1
p(θ, σ2 |D) ∝
Y
f (²t ) · (B.4)
t σ2
On obtient alors :
²2t
µ ¶
2 1 1
p(θ, σ |D) ∝
Y
p exp − 2 · 2
t 2πσ2 2σ σ
t ²t
µ ¶n µ P 2¶
1 1
∝ p exp − · 2
2πσ2 2σ 2 σ (B.5)
t ²t
µ P 2¶
∝ σ−n−2 exp −
2σ2
µ ¶
−n−2 SS
∝σ exp − 2
2σ
t ²t
P 2
où SS = est la somme des erreurs quadratiques.
Z
p(θ|D) = p(θ, σ2 |D)d σ2
µ ¶
SS
Z
∝ σ −n−2
exp − 2 d σ2
2σ
Z
∝ (SS/2s)(−n−2)/2 exp (−s) −SS/2s 2 d s
¡ ¢ (B.6)
Z
∝ SS −n/2 (1/2s)(−n−2)/2 exp (−s) −2s 2 d s
¡ ¢
∝ SS −n/2
Nous décrivons ici plus en détails les méthodes de post-traitement présentées succinctement
au chapitre 5.
B.2.1 Préalable
Notations
Nous utilisons les notations suivantes : n est le nombre de pas de temps, Qo,t et Qs,t sont
respectivement le débit observé et le débit simulé par un modèle, au pas de temps t .
Qo,t
e tr = (B.7)
Qs,t
Les méthodes de post-traitement utilisées ici permettent d’obtenir des quantiles prédictifs
q α,t d’ordre α (q α = F−1
Q (α), où F est la fonction de répartition du débit) pour différentes
valeurs de α, de manière à fournir une approximation discrète des distributions prédictives.
La transformation en quantiles normaux est utilisée par les méthodes MeGa, MCP et RQ qui
s’inspirent toutes les trois des travaux de Kelly et Krzysztofowicz (1997).
Il s’agit d’une transformation non-paramétrique qui permet d’obtenir des densités margi-
nales gaussiennes. Elle est définie par :
●●
●
●● ●
●●
●
●●
●
●●
●● ●
●●
●
●●
●
●●
● ●●
●
●●
●
●
●● ●
●
●●
●
●
●
●●
●
●
●● ●●
●
●●
●
●
●
● ●
●●
●
●
●
● ●
●
●●
●●
●
●
● ●
●
●
●
●
●●
● ●●
●
●
●
●● ●●
●
●
●
●● ●●
●
●
●
●●
● ●●
●
●
●
●● ●●
●
●
●
●
● ●●
●
●
●
● ●●
●
●
●● ●
●
●
●
● ●
●
●
●
●
● ●
●
●
●
●
● ●
●●
●● ●●
●
●●
● ●●
●
Fonction de répartition
●●
●
● ●
●
●
●
● ●
●
●
●
●
● ●
●
●● ●●
●
●
●●
● ●
●
●●
● ●
●
●
●
●
● ●
●●
●
0.75 0.75
●
● ●●
●
●
● ●
●
●
●
●● ●
●
●
●●
● ●●
●●
● ●●
●
●
●
● ●
●
●
●
●
● ●
●●
●
●
● ●
●●
●
●
● ●
●
●
●●
● ●
●
●
●●
●
● ●●
●●
●
● ●
●
●
●
●
● ●
●
●
●
● ●●
●
●●
● ●
●
●
●
● ●
●●
●
●
● ●
●
●
●
●● ●
●
●
●
●● ●●
●
●
●● ●
●
●
●
●● ●
●
●
● ●
●
●
●
●
●
● ●
●
●● ●●
●
●●
●
● ●
●
●
● ●
●
●
●
● ●
●
●
●●
● ●●
●●
●
● ●
●
●
●
● ●●
●
●● ●
●
●
●●
● ●
●
●
●
● ●
●
●
● ●
●
0.50
●
0.50 ●
● ●
●
●
●
●
●● ●
●
●
●
●● ●
●
●
●● ●
●
●
●●
● ●●
●
●
● ●
●
●
●
●● ●●
●
●● ●
●
●
●●
● ●
●
●
●
●
● ●
●
●
●
● ●
●
●
●
●● ●●
●
●
●
● ●
●
●
●
● ●
●
●
●
●● ●
●
●● ●●
●
●
●
● ●
●
●
●
●● ●●
●
●
● ●
●
●
●
●
● ●
●
●
●●
● ●●
●
●
● ●
●
●
●● ●
●●
●
●
● ●●
●
●● ●
●
●
●
●● ●●
●●
● ●
●
●
●●
● ●
●
●
●
●
● ●●
●
●● ●
●
●
●●
● ●
●
●
●
●
● ●●
●●
● ●●
●
0.25 ●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
0.25 ●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
● ●●
●
●●
● ●●
●
●
●
● ●
●
●
●
●
● ●
●
●
●●
●
● ●
●●
●●
● ●●
●
●
●
● ●
●
●
●
●
● ●
●
●
●
●
● ●
●●
●
●● ●
●●
●
●
●● ●●
●
●
●● ●
●●
●
●
●
●● ●●
●
●
●● ●●
●
●
●
●
●● ●●
●
●
●
● ●
●●
●
●
●
●● ●
●●
●
●
● ●
●
●●
●
●●● ●
●
●
●
●
●●
● ●●
●
●●
●●
● ●
●
●●
●
●
● ●
●
●● ●●
●
●
●●
●
●
● ●
●
●
●●
●
●●
● ●
●
●●
●
●
●●
●
●●
● ●
●
●●
●
●
●
●
●●
●●
● ●
●●
●●
●
●●
●
●
●●
● ●
●●
●
●●
●●
●
●
●●
●●●
● ●●
●
●●
●
●●
●
●●●
●
●●● ●
●●
● ●
●
●●
●
0.00
●
0.00 ●
●●
●●
●●
● ●
●●●●●
●●
●●●
●
●●●
● ●●
●
●● ● ● ● ● ●●●●●●●●●
F IGURE B.1 – Illustration de la transformation NQT. Pour une valeur de la courbe des débits
classés, la réciproque de la fonction de répartition de la loi normale centrée réduite N (0, 1)
est utilisée pour calculer la valeur transformée.
Les méthodes CemaM et CemaO s’appuient sur une analyse des erreurs relatives e tr .
Le fait de considérer des erreurs relatives plutôt que des erreurs additives permet d’obtenir
des valeurs positives lorsque les marges d’erreurs viennent compléter la valeur simulée
déterministe. Le seul inconvénient est que les situations pour lesquelles le débit simulé est
nul doivent faire l’objet d’un traitement particulier. Nous n’avons cependant pas rencontré
cette situation pour les simulations de débits sur nos bassins versants français, et nous
n’avons donc considéré que les cas où les débits simulés sont strictement positifs.
1. Calcul des erreurs relatives à partir d’une chronique de débits observés et simulés.
100.5
a) ●
●
● ●
●
●
●
Erreur relative [−]
● ● ●
●
0.25 ●
●●●● ● ●●
●
10 ●
●
● ●●
● ●
●
● ●
●
● ●
● ●
● ●
●
●
●● ● ● ●
●
● ●●
●
●●
●
●
●
●
●
●●
●
●
●
●
●
● ●
●
● ● ● ● ●● ● ● ● ●
●● ● ●● ● ● ● ● ● ●● ●● ●
●●
●●
● ● ● ● ● ● ●●●●● ● ● ● ● ●● ●● ●● ● ●
● ●● ● ● ● ● ● ● ● ● ● ● ●● ● ●
● ● ●● ● ●● ● ● ●● ● ● ●
● ● ● ●●
● ●● ●
● ●● ●● ● ● ●
● ● ● ● ●●
● ●●●● ●●●●● ● ● ●●● ●● ●●● ● ●●● ● ●● ● ●
● ●● ● ● ●● ● ●
● ●
● ● ● ● ● ● ● ●● ●● ● ● ● ●●● ●●●● ● ●●● ● ●● ●● ●● ●● ● ●●●●
● ● ● ●●● ● ● ● ● ● ● ● ● ● ●● ●
● ● ● ● ●● ● ● ●
● ● ● ● ● ● ●
● ●
●● ● ● ● ● ● ● ●●●● ● ● ● ● ● ● ● ●● ● ● ●●● ● ● ●● ●● ● ● ●
● ● ●
● ● ● ● ● ● ● ●●● ● ● ● ● ●● ●●
● ● ●● ● ●● ● ●● ●
●
● ●● ● ●●●● ●●●● ●
●●● ●● ●
●● ● ●
●● ●
● ●● ● ● ● ●● ● ● ● ●
●● ● ● ●●● ● ● ● ●●● ● ●● ● ● ●● ● ● ● ● ● ●
● ●
● ● ●
● ●● ●● ●●●
● ●●
●●● ●● ● ●● ● ●● ● ●
● ●●●●● ● ● ●● ●●●● ●● ●●●●
●
●● ● ● ●●● ● ● ●
●● ●●
● ● ●● ● ● ●● ● ●● ● ●
●● ● ● ●● ● ● ●●● ● ●●●●● ●● ●●● ●
●● ●● ● ● ●● ●● ●●● ●●
●●
●● ● ●●
● ● ●●● ●● ● ●●●●
● ● ● ● ● ● ● ●● ● ●● ● ●● ● ● ● ●
● ● ● ● ●● ● ● ● ●●
● ● ●
100
● ● ●● ● ● ● ● ● ● ● ● ● ● ●
● ● ●● ● ●
●● ●● ●●
● ●●
● ● ● ●● ●● ●
●●● ●● ●● ● ●●●● ●
●●●●●
●
●● ●●●
● ●
●●● ● ●●●●
● ●
●● ● ●● ●● ● ●●● ●
●●● ●● ● ●
●
●●
●●● ● ● ●● ●
● ● ●● ● ●● ● ●● ● ● ●●
● ●● ● ● ●● ● ●●● ●
●●● ●● ● ● ●●●● ●● ● ● ●● ● ● ● ●
● ● ●● ● ● ● ●● ● ● ● ● ●● ● ●●
● ● ●
● ● ● ●● ●
●● ●
●●
● ● ● ● ● ● ● ●●●● ● ●
● ● ● ● ● ● ● ● ●● ●
● ● ● ●● ● ●● ● ● ● ●
● ●● ● ● ●●●
● ●●●●
●●●●●●
●
● ● ●● ●●● ●● ● ● ● ●● ●
●● ●● ●● ● ●●●
● ● ● ●●
● ● ●●● ●●●● ● ● ● ●● ●● ●●●● ●●●● ● ●
●● ●
● ●●●● ●
● ●
● ●
●
● ● ● ● ● ● ●●● ● ● ● ●● ● ● ●● ●● ● ●● ●●●●● ● ●● ● ● ● ● ● ● ● ●
●● ●●● ●●
● ● ●● ●
●● ●● ●
●
●● ● ●●●●●●●● ●●● ●●●
●
●● ●● ●● ●● ● ●●●●● ●●●
●●● ●● ● ●●● ●●
●
● ●● ●● ●● ●
●●
● ● ●●● ● ●● ●●● ●
●● ●●● ● ● ● ●● ●● ●●● ●● ● ●● ● ●
●● ● ● ●● ● ●
● ● ● ● ● ● ● ●● ● ●●
● ● ● ● ● ● ● ● ●
● ●● ● ●
● ●●
●●● ●● ●●●●●● ●
● ● ● ●●● ●
● ● ● ● ●●● ● ● ● ●
●● ●●●● ●● ● ●●●●
● ●●
●●
●● ● ●●
● ●● ● ●
● ●
● ● ●●● ●
●● ●● ●
● ●
●● ●● ●● ● ● ● ●● ● ●●●●● ● ● ●
●● ● ● ●● ●● ● ●● ●
●●●●●● ●● ● ● ●● ● ●●● ● ● ●
● ●● ● ●
●
● ●
●● ●● ● ● ●
● ● ●●● ● ● ●●● ● ●●●●● ●● ●● ●●● ● ●● ●●● ● ● ● ●●● ●● ● ●● ●●
●
●● ● ●●● ●● ● ●●● ● ●
● ●● ● ●
● ● ●●● ●● ●● ●● ● ●● ●● ●● ● ● ● ●● ● ●●●● ●● ●●● ●● ● ●●
● ● ● ●●● ● ●
● ● ●●●●●● ●● ●●●●●● ●●●●
● ●●● ● ●● ● ● ●●● ●● ● ●● ●●● ● ●● ● ● ● ● ● ● ●
●
● ●● ●
● ● ●● ●●● ●●
● ●
● ●
● ● ● ● ●● ●●●● ●●● ●
●●
●●●●
● ●
●
● ●● ●
● ●
●●●● ● ●● ●
●
● ● ● ●
● ● ● ●
● ● ●● ● ● ● ●● ● ● ● ●● ●●● ● ●● ● ● ● ● ●●● ● ● ● ● ●
● ●●● ● ● ● ● ● ● ●
●●●● ● ●
●●● ●●● ●●
● ● ● ●● ● ●● ● ● ●
●● ●
●
● ● ● ●
● ● ● ● ● ● ●●
●●
●●● ● ● ●● ●● ● ● ●●●●●●● ● ● ●
● ●● ●● ●
● ● ●
● ● ● ●●● ●●● ● ●● ● ●● ● ●● ●●● ●●● ● ●
● ●● ●
● ●●
● ●● ● ●● ● ● ● ● ●●●
●
● ●● ● ● ●● ●
●
●● ● ● ● ● ● ●● ● ● ● ●● ●● ●●● ● ● ● ●●
● ●
● ● ● ● ● ● ● ● ●●●● ●
●
●
● ●●●● ● ●
● ● ● ● ● ● ●
10−0.25
● ● ●● ● ● ● ●● ● ● ●●● ●
● ● ● ● ● ● ● ●●
● ● ● ●● ● ● ●
● ● ● ● ●
● ● ● ●
● ● ● ● ●
● ● ●● ● ●● ●●
● ● ● ● ●
●
● ● ● ●● ●
●
●
●●
●
●
10−0.5
10−1 10−0.5 100 100.5 101 101.5
Débit simulé [mm]
100.5
b) ●
●
● ●
●
●
●
Erreur relative [−]
● ● ●
●
0.25 ●
●●●● ● ●●
●
10 ●
●
● ●●
● ●
●
● ●
● ●
● ●
●
●
●
●
●● ● ● ● ● ●●
●
●
●●
●
●
●
●
●●
●
●
●
● ● ●
●
●
● ● ● ● ● ●● ●● ● ● ●
●● ● ●● ● ● ● ● ● ●● ●● ●●●
●●
● ● ● ● ● ● ●●●●● ● ● ● ● ●● ●● ●● ● ●
● ●● ● ● ● ● ● ● ● ● ● ● ●● ● ●
● ● ● ●● ●
● ● ●● ● ●●● ● ● ●●
●
● ●●
● ● ●
●
●● ● ● ●● ●
● ●● ● ●
● ●● ● ● ● ● ● ● ● ●● ● ● ●● ● ● ● ●●●● ● ● ● ●● ●● ● ● ● ●● ● ● ●
● ● ● ● ● ● ● ●● ●● ● ● ● ●●● ●●●● ● ●●● ● ●● ●● ●● ●● ●● ●● ● ●●●●
● ● ● ●●● ● ● ●● ● ● ● ● ● ● ●● ●
● ● ● ● ● ● ● ● ● ● ● ● ●
● ●
●● ● ● ● ● ● ● ●●●● ● ● ● ●● ● ● ●●● ● ●
●
● ● ●● ●● ● ● ● ●●
●
● ●● ●
●●●● ●●● ● ● ●● ●● ●●
●
● ● ●
● ● ● ● ● ●● ● ●● ● ●● ● ●● ●●●●●●●● ●● ● ● ●● ● ● ● ●● ● ● ● ●
●
●●●●● ● ● ●●● ● ●● ● ● ●● ● ● ● ● ● ● ● ● ●● ●● ●●● ●
● ●● ● ● ●● ● ●
●● ● ● ● ● ● ● ● ●●●●● ● ● ●● ●●●●
●
●● ●●●● ●●● ●● ● ●
●● ● ● ●● ●
●●● ● ● ●
●● ●●
● ● ●● ● ● ●● ● ●● ● ●
●● ● ● ●● ● ● ●●● ● ●●●●● ●● ●●● ●
●● ●● ● ● ●● ●● ●●● ●●
●●
●● ● ●●
● ● ●●● ●● ● ●●●●
● ● ● ● ● ● ● ●● ● ●● ● ●● ● ● ● ●
● ● ● ● ●● ● ● ● ●●
● ● ●
100
● ● ●● ● ● ● ● ● ● ● ● ● ● ●
● ● ●● ● ●
●● ●● ●●
● ●●
● ● ● ●● ●● ●
●●● ●● ●● ● ●●●● ●
●●●●●
●
●● ●●●
● ●
●●● ● ●●●●
● ●
●● ● ●● ●● ● ●●● ●
●●● ●● ● ●
●
●●
●●● ● ● ●● ●
● ● ●● ● ●● ● ●● ● ● ●●
● ●● ● ● ●● ● ●●● ●
●●● ●● ● ● ●●●● ●● ● ● ●● ● ● ● ●
● ● ●● ● ● ● ●● ● ● ● ● ●● ● ●●
●
●●●
● ● ● ●● ●
●● ●
●●
●
● ●● ● ● ●● ● ● ● ● ● ●●●● ● ●
● ● ● ● ● ●●
● ● ●● ●●● ●●●●
●● ●
● ● ●
●● ● ●● ● ●● ● ● ● ●
● ●●●
●
●●●●●● ●● ● ●● ●● ● ● ● ●● ●●●● ● ●●●
● ● ● ●●
● ● ●●● ●●●● ● ● ● ● ●●●● ●
● ●
● ●
●
● ●● ● ● ● ● ● ● ●
● ●●● ● ● ● ● ● ● ●● ● ●● ●● ● ●● ●●●●● ● ● ●● ● ● ● ●
●● ● ● ● ● ●
●● ●●● ●●
● ● ●● ●
●● ●● ●
●
●● ● ●●
●●●●●● ●●● ●●●
●
●● ●●● ●● ●● ● ●●●●● ●●●
●●● ●● ● ●●● ●●●
●
● ●● ●● ●● ●
●●
● ● ● ●
●● ●● ●●● ●
●● ●●● ● ● ● ●● ●●● ● ●●
● ● ●● ● ●
●● ● ● ●● ● ● ● ● ● ● ● ● ● ● ●
● ●● ● ●
● ●●
●●● ●● ●●●●●● ●
● ● ● ●●● ●
● ● ● ● ●●● ● ● ● ●
● ●●●
● ● ●● ● ●●●● ●●
●●
●● ● ●●
● ●● ● ●
● ● ●● ● ● ●● ● ●● ●
● ● ●●● ●
●● ●● ●
● ●
●● ●● ●● ● ● ● ●● ● ●●●●●● ● ●
●● ● ● ●● ●● ● ●● ●
●●●●●●
●●
● ●● ●● ● ●●● ● ● ●
●
● ●● ● ●
●
● ●
●● ●● ● ● ●
● ● ●●● ● ● ●●● ● ●●●●● ●● ●● ●●● ● ●● ● ● ● ● ●●● ●● ● ●●
● ● ● ●●● ● ●●● ●● ● ●●● ● ●
● ●● ● ●
● ● ●●● ●● ●● ●●●● ●● ● ●● ●● ●●● ● ● ● ●● ● ●●● ●●
● ●● ●●● ●● ● ● ● ● ●●● ● ●
●
● ●
● ●● ●●●● ●● ●●●●●●●● ● ● ●●●●
● ●●● ● ●● ● ● ●●●●●● ●● ●● ● ● ●● ●●● ● ●● ● ● ●● ● ● ●
● ● ●
● ●● ● ●
● ●●
● ● ● ●●● ●● ● ● ●● ● ● ●●●
●●●
● ● ●
●●● ●
●●
● ● ●
●●●●● ● ● ●● ● ●● ● ● ●
● ●
●
● ● ● ●●● ●● ● ● ● ● ●
● ●●● ● ● ● ●● ●● ● ●● ● ●● ● ● ● ●●● ● ●● ● ●● ● ● ● ● ● ● ●
● ●●● ●●●● ● ●● ●● ●●● ●●● ●● ● ●
● ● ● ● ●
●● ● ●● ●● ●●●●● ● ● ●
● ●
● ●● ●
●
● ● ●
● ● ● ●●● ●●● ● ●● ●● ● ●● ●●● ●●●
●
●● ●
● ●● ● ●●
● ●● ● ●● ● ● ● ● ●●●
●
● ●● ● ● ●● ●
●
●● ● ● ● ● ● ●● ● ● ● ●● ●● ●●● ● ● ● ●●
● ●
● ● ● ● ● ● ● ● ●●●● ●
●
●
● ●●●● ● ●
● ● ● ● ● ● ●
10−0.25
● ● ●● ● ● ● ●● ● ● ●●● ●
● ● ● ● ● ● ● ●●
● ● ● ●● ● ● ●
● ● ● ● ●
● ● ● ●
● ● ● ● ●
● ● ●● ● ●● ●●
● ● ●
● ● ●
● ● ● ●● ●
●
●
●●
●
●
10−0.5
10−1 10−0.5 100 100.5 101 101.5
Débit simulé [mm]
100.5
c) ●
●
● ●
●
●
●
Erreur relative [−]
● ● ●
●
0.25 ●
●●●● ● ●●
●
10 ●
●
● ●●
● ●
●
● ●
●
● ●
● ●
●
●
●
●
●● ● ● ● ● ●●
●
●
●
●●
●
●
●
●
●●
●
●
● ●
● ● ●
●
● ● ● ● ●● ● ● ● ●
●● ● ●● ● ● ● ● ● ●● ●● ●●●
●●
● ● ● ● ● ● ●●●●● ● ● ● ● ●● ●● ●● ● ●
● ●● ● ● ● ● ● ● ● ● ● ● ●● ● ●
● ● ● ●● ●
● ● ●● ● ●●● ● ● ●●
●
● ●●
● ● ●
●
●● ● ● ●● ●
● ●● ● ●
● ●● ● ● ● ● ● ● ● ●● ● ● ●● ● ● ● ●●●● ● ● ● ●● ●● ● ● ● ●● ● ● ●
● ● ● ● ● ● ● ●● ●● ● ● ● ●●● ●●●● ● ●●● ● ●● ●● ●● ●● ●● ●● ● ●●●●
● ● ● ●●● ● ● ●● ● ● ● ● ● ● ●● ● ●
● ● ● ●
● ●● ● ● ● ● ● ● ● ● ● ● ●
● ●
●● ● ● ● ● ● ● ●●●● ● ● ● ●● ● ● ● ● ●● ●● ● ● ● ● ●●● ● ● ●● ●● ●● ● ●
● ●
●
●●●●● ● ● ●●●
● ● ● ●● ● ● ●● ● ●● ● ●● ●
● ●● ● ●●
● ●●
●● ●●●●●●●● ●● ●
●● ● ●
●
● ●● ● ● ● ●● ● ● ● ●
●● ● ● ● ●● ● ● ●● ● ● ● ●● ● ●
● ●
● ● ●
●
●●●●● ● ● ●●
● ●●●
● ●
●
●●● ●● ● ● ●● ● ●● ● ●
●●●
● ●● ● ● ● ●●● ● ●●●●● ●● ●●● ● ●● ● ●●●●●●●● ●●●● ●● ●●● ●●
●● ●● ● ● ●●● ● ● ●
●● ● ● ●● ● ● ●● ●
●
● ● ●● ●
● ● ● ●● ● ● ●● ● ●● ● ●● ●
● ● ●
●
● ●
● ● ● ● ●● ● ●
●● ● ●●
●
● ●
●●
● ●●● ●● ● ●●●●
●
100
● ● ●● ● ● ● ● ● ● ● ● ● ● ● ●
● ● ●● ● ●
●● ●● ●●
● ●●
● ● ● ●● ●● ●
●●● ●● ●● ● ●●●● ●
●●●●●
●
●● ●●●
● ●
●●● ● ●●●●
● ●
●● ● ●● ●● ● ●●● ●
●●● ●● ● ●
●
●●
●●● ● ● ●● ●
● ● ●● ● ●● ● ●● ● ● ●●
● ●● ● ● ●● ● ●●● ●
●●● ●● ● ● ●●●● ●● ● ● ●● ● ● ● ●
● ● ●● ● ● ● ●● ● ● ● ● ●● ● ●●
●
●●●
● ● ● ●● ●
●● ●
●●
●
● ●● ● ● ●● ● ● ● ● ● ●●●● ● ●
● ● ● ● ● ●● ●
● ● ●● ●● ●●●●
●● ●
● ● ●
●● ● ●● ● ● ●● ● ● ● ●
● ●●●
●
●●●●●● ●● ● ●● ●● ● ● ● ●● ●●●● ● ●●●
● ● ● ●●
● ● ●●● ●●●● ● ● ● ● ●●●● ●
● ●
● ●
● ●● ● ● ● ● ● ● ●
● ●●● ● ● ● ● ● ● ●● ● ●● ●● ● ●● ●●●●● ● ● ●● ● ● ● ●
●● ● ● ● ● ●
●● ●●● ●●
● ● ●● ●
●● ●● ●
●
●● ● ●●
●●●●●● ●●● ●●●
●●
● ●● ●● ● ●●●●● ●●●
●●● ●● ● ●●● ●●●
●
● ●● ●● ●● ●
●●
● ● ● ●
●● ●● ●●● ●
●● ●●● ● ● ● ●● ●●● ● ●●●● ●● ● ●● ● ●
●● ● ● ●● ● ● ● ● ● ● ● ● ● ● ●
● ●● ● ●
● ●●
●●● ●● ●●●●●● ●
● ● ● ●●● ●
● ● ● ● ●●● ● ● ● ●
● ●●●
● ● ●● ● ●●●● ●●
●●
●● ● ●●
● ●● ● ●
● ● ●● ● ● ●● ● ●● ●
● ● ●●● ●
●● ●● ●
● ●
●● ●● ●● ● ● ● ●● ● ●●●●● ● ● ●
●● ● ● ●● ●● ● ●● ●
●●●●●●
●●
● ●● ●● ● ●●● ● ● ●
●
● ●● ● ●
●
● ●
●● ●● ● ● ●
● ● ●●● ● ● ●●● ● ●●●●● ●● ●● ●●● ● ●● ● ● ● ● ●●● ●● ● ●●
● ● ● ●●● ● ●●● ●● ● ●●● ● ●
● ●● ● ●
● ● ●●● ●● ●● ●●●● ●● ● ●● ●● ●●● ● ● ● ●● ● ●●● ●●
● ●● ●●● ●● ● ● ● ● ●●● ● ●
●
● ●
● ●● ●●●● ●● ●●●●●●●● ● ● ●●●●
● ●●● ● ●● ● ● ●●●●●● ●● ●● ● ● ●● ●●● ● ●● ● ● ●● ● ● ●
● ● ●
● ●● ●
● ●●
● ● ● ●●● ●● ● ● ●● ● ● ●●●
●●●
● ● ●
●●● ●
●●
● ● ●
●●●●● ● ● ●● ● ●● ● ● ●
● ●
●
● ● ● ● ● ●● ●● ● ● ● ● ●
● ●●● ● ● ● ●● ●● ● ●● ● ●● ● ● ● ●●● ● ●● ● ●● ● ● ● ● ● ● ●
● ●●● ●●●● ● ●● ●● ●●● ●●● ●● ● ●
● ● ● ● ●
●● ● ●● ●● ●●●●● ● ● ●
● ●
● ●● ●
●
● ● ●
● ● ● ●●● ●●● ● ●● ●● ● ●● ●●● ●●●
●
●● ●
● ●● ● ●●
● ●● ● ●● ● ● ● ● ●●●
●
● ●● ● ● ●● ●
●
●● ● ● ● ● ● ●● ● ● ● ●● ●● ●●● ● ● ● ●●
● ●
● ● ● ● ● ● ● ● ●●●● ●
●
●
● ●●●● ● ●
● ● ● ● ● ● ●
10−0.25
● ● ●● ● ● ● ●● ● ● ●●● ●
● ● ● ● ● ● ● ●●
● ● ● ●● ● ● ●
● ● ● ● ●
● ● ● ●
● ● ● ● ●
● ● ●● ● ●● ●●
● ● ●
● ● ●
● ● ● ●● ●
●
●
●●
●
●
10−0.5
10−1 10−0.5 100 100.5 101 101.5
Débit simulé [mm]
Ces trois étapes permettent d’obtenir K × N coefficients multiplicatifs notés Mnk . Ces coef-
ficients multiplicatifs sont utilisés pour obtenir les quantiles de la distribution prédictive :
où Qis est un débit simulé appartenant à la i ème tranche de débits, et q αk est le quantile
prédictif d’ordre αk .
La méthode CemaO est une version simplifiée de la méthode CemaM. Elle ne considère
qu’une seule tranche de débits, N = 1. Les coefficients multiplicatifs sont donc identiques
pour toutes les valeurs de débits simulés.
B.2.3 MeGa
La méthode MeGa proposée par Montanari et Grossi (2008) s’inspire des travaux de Kelly
et Krzysztofowicz (1997) et s’appuie sur un modèle statistique appelé méta-gaussien pour
décrire la relation entre les débits simulés Qs,t et les erreurs additives e t .
où a est le coefficient de la relation linéaire et ²t suit une loi normale de moyenne nulle et de
variance σ2 .
3. Calcul des valeurs transformées pour les débits simulés et les erreurs.
● ●
a) ●
●
●
●
●
●
b) ●
●
●
●
●
●
●
●● ●
●
● ●
● ● ●●
● ● ● ●
●
2 ● ● ● ●
●
●
●
●
● ●●
●●●
●●
●
●
●● ●
●
●
●
● ●
2 ● ●
●
●
● ● ●● ●
● ●
●● ●
●●
●
●●
●
●●
●
●
●
●
●
● ● ● ● ● ● ●● ● ● ●
●●● ● ●
●●
● ● ●● ●● ● ●● ● ●
●● ● ● ●● ● ● ●
● ●●● ● ●● ● ● ●
●● ● ●● ●
●● ● ● ● ●● ● ● ● ●● ● ●● ●● ●● ●● ●
●
● ● ● ● ●● ● ● ● ● ●
●●
● ●● ● ● ●● ●
● ●
●● ●
●
●●● ● ● ●●
● ● ● ●● ● ●
● ● ● ●
● ●● ● ● ● ● ● ● ●● ●●● ● ●● ● ●● ● ●
● ● ● ●● ●●● ● ●
●●● ● ● ●● ●● ● ●●●●●● ●●● ● ●● ● ●
●●
●● ● ● ●●● ● ● ● ● ●● ● ● ●
●● ● ●● ● ● ●● ● ●● ●● ●
● ●● ●● ● ● ●● ●
●● ● ●●● ● ●● ● ●● ●●● ●
● ● ● ●●● ●
●● ●
● ● ● ●● ●● ● ●●
NQT(e+)
NQT(e−)
● ● ●● ● ● ●●● ● ● ●
● ●●●● ●● ● ● ● ● ● ● ● ●● ●● ● ● ● ● ● ●
●● ● ● ●● ● ●● ● ● ●●●
● ●●
●
● ●●●●● ●●●●●● ● ● ● ● ● ● ●●●● ●
● ●
●● ●●● ●
● ● ●● ●● ● ●
● ●● ● ● ●
● ●●●
●
●
● ●● ● ●● ● ●● ● ●●
● ● ● ●● ● ● ●●● ● ● ●●● ● ● ● ● ●
●
●●● ● ●
●●●●●
● ●● ● ● ●● ● ● ● ● ●
● ● ●● ● ●
● ● ● ●● ● ● ●
● ●
●
● ● ● ●●
●● ● ● ● ● ● ● ●●●
● ● ●● ● ● ● ● ●
● ● ● ● ● ●● ●●●●●●● ● ● ● ● ●●● ● ●●●●● ●●●
●
●●● ● ●● ● ● ●
●
●
● ●● ● ●
● ●● ●● ●● ● ● ●
●
● ●●
●●● ●● ● ● ●●● ●● ●● ● ● ● ● ● ● ●
● ● ● ● ●
● ●
●● ●●● ● ●● ●● ● ● ● ● ●
● ● ● ●
● ● ●●● ●
●● ● ● ●●●●●● ● ●● ● ●
● ● ●● ●
● ● ● ●● ● ● ● ● ●● ●● ● ●●●● ●●●
● ●● ●● ●●● ● ● ●● ●● ●
● ● ●●● ● ● ● ● ● ● ●● ● ●● ● ●
●
● ● ●●●● ●
●
●
●●●●●●●● ●● ●● ● ● ●
● ● ● ●●
● ● ● ●●
● ● ● ● ● ●● ●● ● ●● ● ●●● ●● ●● ●● ●● ● ●
● ●● ●● ●
● ● ●●●●●●● ● ●●●●● ● ● ●
● ●● ● ●● ● ● ● ● ● ● ●● ●● ● ●
0 0
● ●● ●●
● ● ●● ● ●●●● ●● ● ●● ●● ●● ●● ●
● ●●
● ● ●● ●
● ● ●● ●●
●
●●●●●
● ● ●●●
●●●● ●●● ● ●●
● ●●● ● ●
●● ● ● ●
●● ● ● ● ● ● ● ●● ●● ● ● ● ●● ● ● ●● ●● ●● ●
● ● ● ● ●● ● ● ● ●● ● ●●●● ● ●●● ●●● ● ●● ●●
● ● ●● ● ● ●● ● ●● ● ● ●
●●● ●● ●
● ● ●●●
● ● ●● ●● ● ● ●●●●●● ● ● ●
● ● ●
● ●●
● ●
●●●●● ●●●● ● ● ●● ● ●
● ● ● ● ●● ● ● ●●●●●● ●
● ●● ● ● ● ●●
●●● ●● ● ● ●
●● ● ●● ● ● ●● ●●● ● ● ●
●●●●● ● ● ●●●●● ●●●● ● ●●● ●
● ● ●
● ● ●● ●● ●● ●● ●● ●●● ● ● ●● ● ●● ● ● ●
● ● ●● ● ●● ● ●● ● ● ●● ●● ● ● ●● ● ●● ● ●●
● ● ● ●●
● ● ●● ● ● ●● ●
● ●● ●●● ●
● ● ● ●
●● ●●●
●
● ●●● ●● ●● ● ● ● ● ●●
●
●● ●
●●● ● ● ● ●●
●●
●
● ● ● ●●● ● ●●
●●● ● ● ● ● ●● ● ● ● ●● ●
●
● ●● ● ● ● ●● ●●● ●● ● ●
● ● ● ● ●● ●●●●● ●● ●
● ● ●●
● ●● ● ●●●
●● ●
● ● ● ●● ● ● ● ● ●●
●
● ● ● ● ● ● ●● ● ●● ● ● ● ● ● ●● ●● ●● ●● ● ●●● ● ● ● ●
●● ●●● ●● ● ●
● ● ● ●
●● ● ●● ● ●
● ● ● ● ● ●●● ● ●●●● ● ●● ●●● ● ● ●● ● ● ●
● ●●●● ●● ●
● ●
●
●● ● ●● ● ● ● ●● ● ●
●● ● ● ● ●●●
●●●
●
●● ● ● ● ● ●● ●
● ● ●●
●● ● ● ●● ● ● ● ● ●● ● ●
● ●
● ●
●
● ● ● ●● ●●● ●● ● ●● ● ●● ●●● ●●● ●●
●●●
●● ● ● ● ●● ● ● ●● ● ● ●● ●
●● ●●
● ●
● ● ● ●●
●
●● ●
● ● ● ● ● ●●● ●●●● ● ●
● ● ●● ● ●● ● ●
● ●● ● ● ●
● ● ● ●●●●● ● ● ●
● ● ●●●
●●● ●●
● ●● ●● ● ● ● ●● ●● ●● ●● ● ● ● ● ●
●● ● ● ● ● ●
● ● ●● ● ● ● ● ● ●
● ●● ●●● ● ● ● ● ● ● ●●
● ●
● ●
● ●● ● ●
●
● ●
●
● ● ● ●● ● ● ● ● ●
● ●
● ● ●
●
● ●● ● ● ● ● ● ● ●● ● ●● ●
● ●
● ● ● ●
●
● ● ● ● ● ● ●● ● ●
● ●● ●
● ● ●●
● ●
● ● ● ● ● ●● ●● ●● ● ● ●
●● ● ●●● ●● ●
● ● ● ● ● ● ●
● ● ● ● ● ● ● ● ●●
● ● ● ● ● ● ●
●● ● ● ● ● ●
● ●● ● ●
● ● ●●
● ● ●
● ●
●
−2
●
● ● ●● ●
−2 ● ●
●
●
●
●
●
●
●
● ●
●
●
●
●
●
● ●●
●●
●
●●
●
●
● ●
●
●
●
● ●
● ●
● ●
● ●
● ●
● ●
● ●
● ●
−2 0 2 −2 0 2
NQT(Qsim) NQT(Qsim)
F IGURE B.3 – Illustration de la méthode MeGa. Les erreurs (a) positives et (b) négatives font
l’objet d’un traitement séparé. Pour chaque nuage de points, la droite en pointillé désigne la
droite de régression linéaire et la droite en bleue représente la courbe des quantiles d’ordre
(a) 90% et (b) 10%.
B.2.4 MCP
Le formalisme de la méthode MCP proposée par Coccia et Todini (2011) est proche de celui de
la méthode MeGa. La différence est que la variable aléatoire prédite par le modèle statistique
méta-gaussien utilisé n’est pas l’erreur mais le débit.
Le modèle repose sur l’hypothèse d’une relation linéaire entre les débits simulés Qs,t et les
débits observés Qo,t dans le domaine normal :
où a est le coefficient de la relation linéaire et ²t suit une loi normale de moyenne nulle et de
variance σ2 .
1. Calcul des valeurs transformées pour les débits simulés et les débits observés.
●
●
●
●
●
● ●
● ●
● ●
●●
● ● ● ● ●●
● ● ●
●●●● ● ●
● ● ●●
2 ●
●
●
●
● ● ●●
●
●
●
●●
●
●● ●●
●●●●● ● ● ●
● ●●●●
● ●●●
●
●●
●●
● ● ●
●
●● ●
●● ● ●
●
●
●
● ●
●●
●●
●●●●
● ● ●●●●●●
●
●● ●●
● ●
●●●● ● ●
● ● ● ●
●●● ● ● ●●● ●● ●●●
●● ●●
● ●●
● ●
●● ● ●●●●
● ●● ●● ●
NQT(Qobs)
●● ●
● ●● ●●
●● ●●
● ●●● ●●● ●
●
● ●●
●●●● ●
●
●
●●●
● ●●●●
●●●●●
●
● ●
●●
● ●●
●
●●
●
●●● ●●
● ● ●●●
●
● ●● ●● ●●● ●●●●●
●● ●
●
●●
●● ●●●●●●●
●●●
●
●●●
● ●●
●
●●●
●
●
●● ● ●●
●
●●
● ●●●●●●
● ●●●
●
●●●● ●
● ●●● ●● ●
●
●●
●
●●●●
●●● ●● ● ●●
● ●
● ●●●●●
● ●
●
●●●●
●●●● ● ●●●
●●●●●
●●
●●●
●● ●●●●
●
●●●● ●●●
● ●
● ●
● ● ●● ●●●● ●●
●●
●●●
●
●●
●●●●
● ●
●
● ●
● ●●●●
● ●
●●
●●●
●
●
●
●
●
●
●
●
●
●●
● ●
●●●
●
●
●
●
●
●
●
●
●
●
●
●●●●●
● ●●
●● ● ●● ●
●●
● ●
● ●● ●● ●
●●●● ●
● ● ●●● ● ●
●●
● ●
●● ●●●●● ●
●
● ●●●●●● ●
● ● ●
●
●●
●
●●
●●
●
●
●
●●
●●
●
●●
●●
●
●
●●
●●
●
●
●
●●●
● ●●●●●
● ●●
●● ● ●●●●●● ●
●●●● ● ●
●
●●
●
●●
●
●● ● ●●
●●
● ●●
● ●● ●
●●●●
●●
●
●
●●
●
●●
●
●●
●
●●
●
●
●●
●
●●
●
●
●●
●●
●
●●
●● ●●●● ●
● ●● ●●●●●
●●●
●●
●● ●●
●●●
●
●●●
●●
●●
● ● ● ●
● ●
●●
●●
●
●●
●●●●
●●
● ●
●●● ●●●●
●●●●● ●
●●● ●
● ●●
● ●
●●
●
● ●
● ●
● ●●●●
0
●● ●●
●●
● ● ●
● ●●● ●●
●●● ●
●●●
● ●
●●●
● ●●
●●
●● ●●● ●●● ●●●
●● ● ●●●
●●●●●
●●●
●●
●
●
● ●
●●
●●
●●
●●
●●●●●● ●● ●●●
●
●●●● ● ●●
●●
●
●
●
●●
●
●
●●
●●●
●●
●●
●
●●
●
●●
●
●
●
●
●
●
●
●●●
●
●●
●
●● ●● ●● ● ●
● ●● ●●●● ●●
● ●
● ●●
●
●●●
●
●
●●
●
●
●
●●
●●●
●●
●●
●
●
●
●●●
●●
●
●
●
●
●
●
●
●●●●
●
●●
●●●
●●●
●●
●
●●●● ● ● ●
●●● ●●●
● ●
●● ●● ●●●
●● ●● ●● ●
●●● ●●●●
●
●●
●
●
●●●
●
●
●●●
●
●
●●●
●●● ●
●
●●●●●
●●● ●●● ●● ●
● ●● ●●●●●●●
●
●●● ● ●●●●
●●●●
● ● ● ●
● ● ●● ●●
● ●●● ●●●
●●
●●
●●●
●
●●
●●
●
●
●
●●
●●
●
●
●
●
●
● ●
●●
●
●●●●●●●
●
●●●●●●● ●
● ●
●●● ●
●●●●● ●
●●●
●●● ● ● ● ●●
● ● ●●●● ●●●●●●
● ●●●
●
●
●
●
●●
●
●
●
●
●
●●●●
●
● ●●●●●● ● ●
● ● ●●●
● ● ●●●
● ●●
●●
●●● ●● ●●● ● ●
●● ●●
● ●●
●
● ●
●
● ●● ●●●●
●
●●● ●●
●●●● ●
●●●
●●●● ●●● ● ●●
● ●●
●●●● ●
●
●●●●
●
●
●●
●●●●
●
●
●
●
●●●
●
●●●●
●● ● ●● ●
●●●
● ●● ● ●●
●●●●●
●●
●●●●●
●●●●● ●
●●
●●●
● ●●
●●
●●●●
●●●● ●
●
● ● ●●
●●
●● ●●
●
●●
●●●
●
●
●
●●● ●
●
●
●
●●
●● ●● ● ●
●●● ● ● ●
●●●
●
●●●●
● ●
●●
●●● ●● ●●
● ●● ●●●●●●
●
●●
●
●
●
●
●
●
●
●●
●
●
●●
●
●● ●
● ● ● ●● ●●
●
● ●
●
●
●●●● ● ●●●● ●
●
●
●●
●
●
●●●
●
● ● ●●●●● ● ● ●
●●
● ●●
●● ● ● ● ●
●●● ●
● ●●●●●● ● ●●●● ●●
● ● ● ●● ● ● ●● ● ●● ●● ●●● ●
● ● ● ●
●●●
● ●●●● ●●●
● ● ● ●●●●
−2 ●●● ● ●
●●
● ● ●
●● ● ●● ●
● ●
●● ● ● ● ●● ●
●●
●● ●●● ●
●●
● ● ●● ●
● ●
● ●
● ●●
●
●
●
●
●
−2 0 2
NQT(Qsim)
F IGURE B.4 – Illustration de la méthode MCP. La droite de régression linéaire est en pointillé
et les droites en bleue représentent les quantiles d’ordre 10% et 90%. La droite verticale en
pointillé marque la séparation entre deux populations. Sur cet exemple, la différence entre
les caractéristiques de la relation linéaire pour chaque population est à peine visible.
B.2.5 RQ
La régression quantile est une méthode de régression introduite à l’origine en économie. Elle
permet de s’affranchir de l’hypothèse de normalité des résidus habituellement formulée pour
les modèles de régression linéaire et d’étendre les techniques de régression aux quantiles.
On suppose que le quantile q α d’une variable aléatoire Y peut s’exprimer sous la forme d’une
fonction f qui dépend d’une variable explicative X et des paramètres βα .
La régression quantile consiste à estimer, pour une valeur de α, les paramètres βα en minimi-
206 Annexe B. Compléments au chapitre 5
● ●
● ●
a) b)
● ●
● ●
● ●
● ●
● ● ● ●
● ● ● ●
● ● ● ●
● ● ● ●
● ● ● ● ● ●
● ● ● ● ● ●
● ● ● ● ● ●
● ●
● ● ●
●
●● ●● ●● ●●
● ●
2 2
● ● ●● ● ● ● ●
● ●● ● ● ●● ● ●● ● ● ● ●
● ●● ● ●●
● ●● ● ● ● ● ● ● ● ● ● ●● ● ● ● ● ● ● ● ●
●● ● ● ●● ●● ●● ● ● ●● ●●
● ●● ●● ● ● ●● ●● ●
●
● ● ●● ● ● ● ● ● ●● ● ● ●
● ● ●● ● ● ● ● ● ●● ● ●
●●● ●● ● ●●● ●●●●● ● ● ●●● ●● ● ●●● ●●●●● ● ●
● ● ●● ●●● ● ●●●●● ● ● ●● ● ● ●● ●●● ● ●●●●● ●● ●●
● ● ● ●●●●● ● ●● ● ● ●●●●●●● ● ●●
● ●
● ●●● ● ●●
●● ● ● ●● ● ●● ● ● ● ● ●
● ●●● ● ●●
● ● ● ●● ● ●● ● ● ●
●●●● ●● ● ● ●
●● ●● ●● ●● ●● ●
● ● ●●● ●● ●
● ●●● ●● ●● ●● ●● ●
●
● ● ●● ●● ●● ● ● ● ●● ●● ●● ●● ● ●
● ●● ● ●●
● ●●● ●●●● ● ●●● ● ● ● ● ●● ●●●● ● ●● ● ● ●● ●● ● ● ● ●
● ● ●
●●●●● ● ●●● ●●● ● ● ●●
● ● ● ●● ●● ● ●
● ● ● ●
●●●●● ●
●●●● ●●●●
● ●●● ●●● ● ● ●● ●
● ● ●●●● ● ● ●
●●●●●●
●
●
●●●●●
●
●● ●
● ●●● ● ●● ●●
● ● ● ● ●●●●
● ●● ●
●●●●●● ●●●●●
●●
● ●●●● ●● ● ●● ●●
●
● ●● ●●● ●
● ● ●● ●●●● ●
● ●● ●● ● ● ●●●●
●
●●
●
● ●●
● ●
●●● ●
● ●●●
●
● ●●
●
● ● ●
●
● ●
● ●● ●● ● ● ●●●●
●
●●
●
● ●●
● ●
●●● ●
● ●●●
●
● ●●
●
●
● ●●
●
● ●
● ● ● ●●● ●●● ●● ● ● ● ● ● ● ●●● ●●● ●● ● ● ●
●● ●● ● ●● ●● ●●● ●
●● ●● ● ●●● ● ● ●●
●●●● ●●●●● ●● ●● ●● ● ●● ●● ●●● ●
●● ●● ● ●●● ● ● ●●
●●●● ●●●●● ●●
● ●● ●● ●●● ● ● ● ●●● ●● ● ● ● ●● ●● ●●● ● ● ● ●●● ●● ● ●
NQT(e)
NQT(e)
●● ● ●● ●● ●●● ● ● ●● ● ●● ●● ●●● ● ●
● ●●●●● ●● ●● ●●●● ●●●● ● ●● ● ● ● ●●●●● ●● ●● ●●●● ●●●● ● ●● ● ●
● ●● ● ● ●● ● ● ● ● ●●●● ●●●●● ●●● ●● ●
●● ●●●● ●
●● ● ● ● ● ●● ● ● ●● ● ● ● ● ●●●● ●●●●● ●●● ●● ●
●● ●●●● ●
●● ● ● ●
● ● ● ● ●● ●● ● ● ● ●● ●●● ●●●● ●●●
● ●● ● ● ● ● ●● ●● ● ● ● ●● ●●● ●●●● ●●●
● ●●
● ● ● ● ● ●● ●
● ●● ●● ● ● ●● ●●● ● ●● ●● ●
●● ● ●●●●●●●● ●●● ●● ●●●
●● ● ● ● ●● ● ● ● ● ● ● ● ●● ●
● ●● ●● ● ● ●● ●●● ● ●● ●● ●
●● ● ●●●●●●●● ●●● ●● ●●●
●● ● ● ● ●● ● ●
●●● ●●●● ●● ●● ● ● ●● ●●● ●
●● ●●● ●● ● ●● ●● ●●● ●●●● ●● ●● ● ● ●● ●●● ●
●● ●●● ●● ● ●● ●●
● ● ●●●●●●● ●
●●●●●●● ●● ● ●
● ● ●● ●
●● ●● ● ●
●● ●●●● ●● ● ●●●●●
●●● ● ●
● ● ● ●●●●●●● ●
●●●●●●● ●● ● ●
● ● ●● ●
●● ●● ● ●
●● ●●●● ●● ● ●●●●●
●●● ● ●
●
●● ● ●●● ●● ● ● ● ●● ●●●● ● ●● ● ●●● ●● ● ● ● ●● ●●●● ●
●●●● ●● ●●● ●●
● ● ● ●● ●● ● ●●●● ●●
●
●●●●●●●●● ●●●● ●● ● ●● ●●
● ● ● ●● ●● ● ●●●● ●●
●
●●●●●●●●●
● ●
●
●● ●●
● ●●●
●
●●●●
● ●
●
●●
● ●
●
● ●●
●
●●
●
●●●●
● ● ●
● ●● ● ● ● ●● ● ●● ●
●
● ● ●
●
●● ●●
● ●●●
●
●●●●
● ●
●
●● ● ●
●
● ●●
●
●●
●
●●●●
● ● ●
● ●● ● ● ● ●● ● ●● ●
●
●
● ● ●●● ● ●
● ● ● ● ● ●● ● ●● ●● ● ● ● ● ●●● ● ●
● ● ● ● ● ●● ● ●● ●● ● ●
●● ● ● ● ● ● ● ● ●●● ●●● ●●●● ● ●●● ●
●●
● ●●
●●●● ● ● ●● ●● ● ● ●●● ●
●● ● ● ● ● ● ● ● ●●● ●●● ●●●● ● ●●● ●
●●
●●● ●
●●●● ● ● ●● ●● ● ● ●●● ●
●● ● ● ● ● ●● ●●●● ●●●● ●●
●● ● ● ● ● ●● ●●●● ●●●● ●●
0 0
● ● ●
● ●● ● ● ●● ●● ● ● ● ● ●
● ●● ● ● ●● ●● ● ●
● ●● ● ●●●●● ● ●● ●● ●●● ● ●●● ●
●●●●●●●● ●● ●● ● ●
● ●● ● ●● ● ●● ● ●
● ●● ● ●●●●● ● ●● ●● ●●● ● ●●● ●
●●●●●●●● ●● ●● ● ●
● ●● ● ●● ● ●● ● ●
●● ●●●●●● ●
● ●●● ●● ●
●●● ●●●●●●●
● ● ●● ●● ●● ●● ● ●● ●●●●●● ●
● ●●● ●● ●
●●● ●●●●●●●
● ● ●● ●● ●● ●● ●
●●● ●●
●●●● ●
●●●●●●●
●●●●●●
●
●●
●●●● ●●●
● ● ●● ● ●● ● ● ● ● ● ● ● ●●● ●●
●●●● ●
●●●●●●●
● ●●●●●
●
●●
●●● ●●●
● ● ●● ● ●● ● ● ● ● ● ● ●
●●●●● ●●●●●
●●●
●
●●● ●●●●
● ●●●● ●●● ●●●
● ● ●
● ●● ● ●●● ● ● ●●●●● ●●●●●
●●●
●
●
●●● ●●●●
● ●●●● ●●● ●●●
● ● ●
● ●● ● ●●● ● ●
● ●●●●●● ● ●●
●●●● ●●●● ●●● ●● ●●● ●● ●● ●● ●
● ● ●●●●●● ● ●●
●●●● ●●●● ●●● ●● ●●● ●● ●● ●● ●
●
●●●●●● ●● ●
●
●
●●
●●
●
●
●●
●●
●
●
●●●●●●●●
●● ●
●●● ●
●
● ●●●● ● ● ● ●● ●● ●● ● ●
● ● ● ●
● ●●●●●● ●● ●
●
●
●●
●●
●
●
●●
●●
●
●
●●●●●●●●
●● ●
●●● ●
●
● ●●●● ● ● ● ●● ●● ●● ● ●
● ● ● ●
●
●●
● ●● ●●● ●●●
●● ●
● ●● ● ●● ●
● ●● ●● ● ●● ●● ● ● ● ● ● ●●
● ●● ●●● ●●●
●● ●
● ●● ● ●● ●
● ●● ● ● ● ●● ●● ● ● ● ● ●
●●● ● ●●●●
● ●● ● ● ● ● ●● ● ●● ●●● ● ●●●●
● ●● ● ● ● ● ●● ● ●●
● ● ● ●●●
●●●●
● ● ● ●
●
●●●●● ● ●
● ●●●
●●● ●● ● ● ● ●● ● ●● ●● ● ● ● ● ● ●●●
●●●●
● ● ● ●
●
●●●●● ● ●
● ●●●
●●● ●● ● ● ● ●● ● ●● ●● ● ●
● ●● ●● ●●●●● ●
●●
● ●●
●●●
●● ●● ●
●● ● ●●● ● ● ●● ●● ●●●●● ●
●●
● ●●
●●●
●● ●● ●
●● ● ●●● ●
●
●● ●● ●●● ● ●●●●●● ●● ●● ●● ●
●
●● ● ●● ● ● ●
●● ●● ●●● ● ●●●●●● ●● ●● ●● ●
●
●● ● ●● ● ●
●●
●●
●●
●●
● ●● ●●●● ●●●●● ●
● ● ●
●● ●● ● ● ● ● ●●
●●
●●
●●
● ●● ●●●● ●●●●● ●
● ●●●● ●● ● ● ● ●
●● ● ●●●
● ●●●●●●●● ●●
● ●● ●●
●● ●● ● ●●●
● ●●●●●●●● ●●
● ●● ●●
●●
●● ● ●● ●●
● ●
●●●●●
●●●
●●●●● ●●● ●● ● ●●
● ● ●● ●
●● ●●
● ● ●● ● ●● ●●
● ●
●●●●●
●●●●●
● ●● ●●● ●● ● ●●
● ● ●● ●
●● ●●
● ●
●●●●
● ●● ●●
● ● ●● ●● ●● ●● ●● ●●● ●● ● ●●●●
● ●● ●●
● ● ●● ●● ●● ●● ●● ●●● ●● ●
● ● ●● ●●●● ●● ● ●●●●● ● ● ● ● ● ●●● ● ● ●● ●
● ●● ●● ● ●●●●● ● ● ● ● ● ●●●
●●●● ●
● ●●● ●● ●●●●
●
●●● ●●●● ● ● ● ●●●● ●
● ●●● ●● ●●●●
●
●●● ●●●● ● ● ●
● ●●● ● ●● ●
●●
● ●● ●● ● ●
●● ●● ● ● ● ● ● ● ●●● ● ●● ●
●●
● ●● ●● ● ●
●● ●● ● ● ● ● ●
●●●
● ●●●
●●
● ● ●●● ● ●●
● ● ● ●●● ● ●
● ●●●
● ●●●
●●
● ● ●●● ● ●●
● ● ● ●●● ● ●
●
● ●● ●●●●● ●● ●●●● ●● ● ●
● ●●● ● ● ●● ●●●●● ●● ●●●● ●● ● ●
● ●●● ●
●●● ●
●● ●●●●●● ●● ● ●● ● ● ●● ● ●●● ●
●● ●●●●●● ●● ● ●● ● ● ●● ●
●● ● ● ● ●● ● ●●● ●●
● ● ●
●
● ●
● ● ●● ● ● ● ●● ● ●●● ●●
● ● ●
●
● ●
● ●
●● ●● ●● ●●● ●● ●● ● ● ●● ●● ●● ●●● ●●● ●● ●● ● ● ●●
●●● ● ●● ● ●
●●●●● ● ●●● ●● ●● ●●● ● ●● ● ●●●●● ● ●●● ●● ●●
●●● ●●
● ●● ●●●
●● ●●● ●
●
●● ● ●●
●
●●● ●●
● ●● ●●●
●● ●●● ●
●
●● ● ●●
●
● ●●● ●● ●● ● ●● ● ●● ●● ●
● ●●● ●● ●● ● ●● ● ●● ●● ●
● ●
● ●● ●● ● ● ● ● ● ●
● ●● ●● ● ● ● ●
● ●● ●
●
●●● ● ●●● ●●● ● ● ● ● ●
● ●● ●
●
●●● ● ●●● ●●● ● ● ● ● ●
●● ● ●
● ● ●● ● ●
● ●
●●● ● ● ● ● ●●● ● ● ● ●
● ●●
● ● ● ● ●●
● ● ●
−2 −2
● ● ●● ● ● ● ● ● ●● ● ● ●
●●● ● ● ●●● ● ●
● ● ●● ● ● ● ● ●● ● ●
●●●● ●●
● ●●●● ●●
●
●
● ●● ● ●
● ●● ●
● ● ● ● ● ● ● ●
● ● ● ● ● ●
● ● ● ●
●● ● ● ●● ● ●
● ● ● ●
● ●
● ●
● ●
● ●
● ●
● ●
● ●
−2 0 2 −2 0 2
NQT(Qsim) NQT(Qsim)
F IGURE B.5 – Illustration de la méthode RQ. a) Les droites bleues correspondent aux valeurs
des quantiles conditionnels d’ordre 10% et 90%, et les droites grises aux quantiles d’ordre
30% et 70%. On remarque que les droites se croisent pour les bas débits. b) Correction du
croisement des quantiles suivant l’approche présentée par Weerts et al. (2011).
sant la quantité :
ρα y i − f x i , βα
X£ ¡ ¡ ¢¢¤
(B.13)
i
où (x i , y i ) sont les réalisations des variables X et Y et ρα (x) est une fonction définie par :
x · (α − 1) si x < 0
ρα (x) = (B.14)
x · α
sinon
Weerts et al. (2011) proposent d’appliquer cette méthode de régression dans le domaine
transformé entre les variables NQT(e t ) et NQT(Qs,t ). Le modèle est décrit par les relations
linéaires suivantes :
2. Calcul des valeurs transformées pour les débits simulés et les erreurs.
3. Calcul des paramètres (a, b)α de la régression quantile pour différentes valeurs de α.
Ces méthodes reposent sur l’hypothèse que les erreurs additives calculées après l’utilisation
d’une transformation T de variable pour les débits simulés et observés suivent une loi normale
de moyenne nulle et de variance σ2 .
Nous avons utilisé des transformations de Box-Cox avec des paramètres λ = 0, 0.3, 0.5 et 1.
1. Calcul des valeurs transformées pour les débits simulés et les débits observés.
a) λ = 0.3 ●
●● ● ● ●
● ●
●
●
b) λ = 0.5 ●
●
●
●
1.0 ●
●
● ●
●●
●
●
●
●
●
●
●
●
●●
● ●
●
●
●
● ●
●
●
●
● ● ●
●
●
● ● ●●● ●
●
T(Qobs) − T(Qsim)
T(Qobs) − T(Qsim)
● ● ● ●
1
● ●
● ● ● ● ● ● ●● ●
●● ● ● ● ● ● ●
● ● ● ● ● ●
●● ● ● ● ● ● ●
●● ● ● ● ●● ● ● ●
●● ● ●● ● ● ● ●
● ●
● ●● ● ● ● ● ● ●● ●
0.5 ● ●● ● ● ● ● ●
● ● ● ● ● ●● ●
● ●●
● ● ● ●● ● ●● ●● ● ● ● ● ●
● ● ●● ●● ● ●● ● ● ● ●●●
●
●● ● ● ● ●●● ●● ● ●
●● ● ● ●●● ● ● ● ● ●● ● ●● ●
●● ●●● ●
● ●●●
● ●● ●●●● ●
●●● ● ●
●●
● ● ● ●
●
● ● ● ●● ●
● ●● ● ●●● ● ● ●● ● ● ●
●● ● ● ● ●●
●
●● ● ●
●● ● ● ● ● ● ● ● ● ●●●
● ● ●● ●
● ● ●●●
● ●● ● ●
● ● ● ● ● ●●● ● ● ●●●● ●●●●
● ●●●●
● ●●● ● ●● ●● ●●● ● ● ●●● ●● ●● ● ●● ●●●● ●● ● ● ●
●●●
● ● ●● ● ● ●●● ● ●● ●
● ● ● ●●
● ● ● ●●
● ●●●●●● ● ● ● ● ●
●● ● ● ●● ● ● ●● ●●●●●●●● ●●● ● ●● ●● ● ● ● ● ● ● ●● ● ●●●● ● ●● ● ●● ● ● ●●
● ●● ●
● ● ● ●● ●● ● ●●● ●● ●●●
●● ● ●●● ●● ●●
● ● ●● ● ● ● ●●● ● ● ● ●● ●●
● ●●●●●●●●●●● ●●●●●● ●● ●● ●●
●● ●
● ● ●●
●
●●● ● ●● ●
● ● ●● ● ●● ● ● ●
●● ●●● ●● ●●●● ● ●● ●● ● ● ●●
● ●● ● ● ●
●
●● ●● ●● ●
● ●● ●●●● ● ●
●● ●●●● ● ● ●
● ● ●● ●●●●● ● ●●●●●●● ● ● ● ●
●●● ●● ●●● ● ● ● ●●●● ●●● ●● ●●● ● ●● ● ●●● ● ●●● ●● ●● ●● ● ● ● ●●● ●●● ●● ●
● ●● ●● ●●●●●●●●
●● ● ● ●● ●● ● ● ● ●
● ● ●
●●●●●● ● ●●● ●● ● ●●●● ● ● ● ●● ● ●● ●● ●
●
●● ●●
●● ● ●●● ●●●● ●
●
● ●● ●
●
●
●
●
●
●
●
●
●
●●● ● ● ● ● ●●
●● ●●●● ● ● ●●
●● ●
●●
●
● ●●● ●
● ●● ●
●●
●●● ●● ● ● ●
●●●●●● ● ● ●●●● ●●● ●● ● ● ●●● ●●● ●●●
●● ● ● ●●●●●
●
● ●●●● ● ●●● ●● ● ●● ●●
● ●● ●● ● ● ●
● ●●●●
●●●● ●
● ●●● ●●
●● ●● ● ●
●●● ●●●● ●
●
● ●
● ● ●●●
● ●
● ●●● ● ●● ● ● ● ●
● ●●●●●
● ● ●● ●● ● ● ● ●● ● ● ● ● ●
●●● ● ● ●
● ● ●● ●
● ●
●●●●
● ●●●●
●●●
●●●
●●
●●●●● ●●●
●● ●●●●● ●● ●● ●●●● ●●●
●
● ● ● ●● ● ●
● ● ●●●●●●
● ●
● ●
● ● ● ●● ● ●●● ● ●● ●●● ●●● ●
●
●●
● ●
● ● ●● ●●●
● ● ● ●
●●
●
●●
●●
●●
● ●●● ●
●●●
●●●
● ● ● ● ●
●●
●● ●
● ● ●● ● ●●●● ●● ●● ●● ● ● ●
●●●● ●●● ● ●●●●●●●●● ● ● ●● ● ● ●●●● ● ●●●●● ● ●●●● ●
●● ● ● ●
●●● ●● ●
● ●●● ● ● ●● ●● ●●● ●
●●● ●●●●● ●● ●● ●●● ● ●
●
●●●●
● ●●● ●●
●● ● ●●●●●●
●●●● ●
●●●●
● ●●
●●
●●
●●●●●●●● ● ●● ●● ●
● ●
● ● ●● ●
● ●● ●
●●●●●●
● ● ●●●●
●●●●● ●
● ●
● ●●●
●●●● ●
● ●●●
●●
●●
●●●
● ●●●● ●
●●●● ● ●● ● ●●●●●
● ● ● ● ● ●● ● ●
●●●●●●● ●●●● ●●
0
● ●● ●● ● ● ● ● ● ●
● ●
●● ● ● ●
● ● ● ●● ●
● ● ● ● ● ●●● ● ● ● ●●●●
0.0 ●● ●● ●
●●
● ● ●
● ●● ● ●● ● ● ● ● ●● ● ●
●● ● ●● ●●● ● ● ●
●●●●● ● ● ● ● ●●
●● ●
●
●●
●●●
●●●●●
●● ●
●
●
●●
●
●
●●●● ●● ● ●●●
●●● ● ●●● ●●● ● ●●● ●● ● ● ●
● ●
●● ●●●
●
●
●●●
●●●●
●
●●●
● ●●●
●●
●● ●●●● ●
●●
● ●
●
●
●●
●
●
● ●●●●
●●
●
● ●●●
●
●●● ●● ●●● ●●● ●●●●●●●
● ● ●● ●● ● ● ● ●
●●●● ●●● ●● ● ●●●●●●● ● ● ●●
● ●● ● ●
●● ●●●●●● ● ● ●● ●
● ●●
● ●●
●● ●● ● ●●
●●●●● ●
●●● ●●● ● ●●
●●●
●●
●
●● ●●
●●
●●
●
●●●●●●●●●
●●●● ●
●●● ●●●●●●● ● ●●
● ● ● ● ●●●
●● ● ●● ●
●● ●● ●●●●● ● ●● ●●●
●
● ●
● ●●●●
●●●
●●
● ●●●● ●● ● ●● ●●●
●●●●●●
● ● ●
● ●● ●
●● ●●●●
● ●
● ●
●●
●●● ●●●
●
●● ●●
●●
● ●●
●
● ●●● ● ●●●●●●● ● ●● ● ●● ● ●
●●
●● ●
● ● ●● ● ● ●
● ●
● ●
●●● ●●● ●●● ●● ● ●● ● ● ●●● ●● ● ● ●
●●
● ●
●●●
●●●
●
●●●
●
●
●●●
●●
●●●●●
●●
● ●● ●
●●
●●● ●●●●
●
● ●
●
● ●●●●
●
● ●●● ●● ●●● ●●
●●●●●
● ●
●● ●●● ●● ● ● ●
●● ●●●
● ●●●●●● ●●●● ●
●● ●● ● ●● ●● ● ●● ● ●●
●● ●
●●●● ● ●●●
●● ● ●
● ●● ●
●●●
●
● ● ●
●●●●●●
●●●
●
● ●●
●
●●●
●●
● ●●●
●● ●●●● ● ●●●●●● ●
●● ●
●● ●● ●
●●● ● ●
● ●● ●
● ●
●
● ●
●●●● ●●
● ●
●●
●●●
● ●●●
●●●●●● ●●●●● ●
●●● ● ●●●●
● ●● ●● ● ● ●●
●●●● ● ●●● ●●●● ●
●● ● ●
●●
●●
●●● ●●●●
●●
●●
●●
●
●●
●● ●
●●●●
●●
●●
●●●● ●●
●●
●●●
●● ●●●●
●● ●●●● ●●●
●● ● ●●
● ● ●● ●●
● ●● ●
●●● ● ●
●
●●
●
● ●●
● ●●●
●●● ●
●●
●● ●●●
●●●
● ●
●
●● ●● ●
●● ● ● ● ●●● ●●
●●● ● ●● ●● ●● ● ●●● ●● ● ●●
● ● ● ●● ● ●● ●●
●
●●
●●
●●
●●●●
●
●●
●●
●●
●
●
●●
●
●●●●●●●●
●●●
●●●● ●●●
●
●●
●
●
●
●●●●●●●
● ● ●● ● ● ● ●● ● ●
● ●●●
● ●●
●● ●●● ●●
●● ●
●● ●●●
●●
● ●●● ● ●●
●●● ●
● ●●● ●●●● ● ● ● ● ● ●
●●●
● ●● ●●●●●
●●
●
● ●
●●
●● ●
●●●●●● ●●●●
● ●●●● ● ● ●●●●●● ●● ● ●●
●
●●● ● ●● ●● ●●● ●●●●●● ●●
●●
●● ●● ●●● ●● ●●
●
●●●●
●● ●●●● ● ●● ● ● ●● ● ●●●
●●
● ●
● ●●●●●
●●
●
●●●●
●●
●
● ●●●●●● ●●●●●●●●●●● ●●
● ●●●●● ●● ● ● ● ●●●
●
●
●
●●●●● ● ●● ●● ●
●
●
●
●● ●
●●●
● ● ● ●●
●●
●●●
●●●
● ●
● ●● ●●
●
●● ●●●● ●● ●● ● ●
● ●● ●● ● ● ● ● ● ● ● ●
● ●● ●
●● ●● ●●
●
●●●
●
●●
● ●●
●
● ●
●●●
● ●● ●●
● ● ● ● ●● ●● ● ●● ● ●
●●●● ●
●
●●
●●●● ● ●● ●● ● ● ● ● ● ●● ●● ● ● ● ● ● ●● ●●
● ● ●● ●● ●●● ●
●● ●●
● ●●
● ● ●● ● ●●●
● ● ●
●
● ● ● ● ●●●●●
●●
●● ●●●● ● ●
●● ●
●●●●● ●●● ●●●●●●●● ●● ●●● ●● ●● ● ●●● ●● ●● ●● ●●
●●●●
●
●
●
●●
●
● ●
● ● ● ●● ● ● ●● ●●● ● ● ●● ● ●
●●●● ● ●● ●● ● ●
●
●● ● ●
●●● ●
●
●●
●
●
●●
●●●● ● ●● ● ●●●● ●● ●● ● ●● ●●● ●●
●●●● ●●
●●●●●●
● ●● ●
● ●●●
●● ● ●●● ● ● ● ●
●●
● ● ●● ● ● ● ●● ● ●●●●●●● ●
●● ●● ●● ●● ● ●●
● ●
●
●●●●
●● ●●●●● ●●● ●●●●●●● ● ● ● ●●● ● ● ● ● ● ●● ●●
●●● ●●● ● ●
●
● ●● ●● ●
● ●●
●
● ● ●
● ● ●● ● ●
●
●
●●●
● ●
●
●●●
●● ●●
●
●●
● ● ●● ●●● ●
●●
● ●●●● ● ● ● ● ● ● ● ●
●
●
●● ●● ●
● ●
●●●● ●●●●●●● ●
●
● ● ●● ●● ● ●●
● ● ●●●● ● ● ●● ●●●●● ● ●● ● ●● ● ●
● ●
● ●● ●●
● ● ●● ●●●
●●●● ●
●● ● ●
●● ● ●
● ●●● ● ● ● ● ●● ● ●●● ●●
●● ● ●● ●● ●●● ●● ●●
● ● ● ● ●● ●●●●●●
●
●
● ●● ● ● ● ●● ● ● ●● ● ● ● ●●● ●●● ● ● ●● ●
●●●●●● ●
● ●● ● ●● ● ● ● ● ● ● ● ●●●●●●● ● ● ●
● ● ●
●
● ● ● ● ●●●● ●● ●
−0.5
●●● ● ●● ● ● ● ●● ●
● ● ● ●● ● ● ● ● ● ●● ●●●● ● ● ●
●● ● ●● ●● ●● ● ● ●● ● ●●● ● ●
●● ● ●● ●● ●
● ●
●
● ● ● ● ●●● ● ●● ●● ●● ●
● ● ● ● ●● ● ● ● ● ●●●● ●
● ● ● ● ● ●
● ●
● ● ● ●
●●
●
●
● ●
●
● ●
●
●
●●●
●
● ●
●
●● −1 ●●
●●
●
● ● ●
●
●
●
●
●●
● ● ●
●
●● ●
●
●●
−1.0 ●
●
●●
●
● ●
●
●
● ●
−2
0 2 4 0.0 2.5 5.0
T(Qsim) T(Qsim)