[PDF] Critères & indicateurs dauto-évaluation des modèles

View - Download Critères & indicateurs dauto-évaluation des modèles

Previous PDF

Next PDF

Version 1- Document de traǀail - mars 2018- 1 GRAIE -GT Autosurǀeillance - Sous-groupe ModĠlisation

Critğres Θ indicateurs

dΖauto-Ġǀaluation des modğles dans le cadre de l'autosurǀeillance rĠglementaire des systğmes d'assainissement pour permettre au maŠtre dΖouǀrage de juger son modğle

L'objectif de ce document, rĠalisĠ aǀec l'aide des membres du groupe de traǀail autosurǀeillance des

rĠseaudž du Graie et de leurs edžpĠriences, est de proposer une sĠrie d'indicateurs de performances afin Cette Ġǀaluation est faite principalement pour comparer les ǀaleurs obserǀĠes ( par edžemple mesurĠes)

aǀec les ǀaleurs calculĠes par un modğle. L'apprĠciation par le maitre d'ouǀrage de ces indicateurs

rĠpondre) ; lΖutilisation ă minima de deudž indicateurs est fortement conseillĠe.

Les indicateurs proposĠs permettent ainsi d'Ġǀaluer ͗ LA FIDLIT, LA JUSTESSE et L'EyACTITUDE d'un

modğle.

Figure 1: Illustration sur des mesurages répétés (Jean-Luc Bertrand Krajewski, INSA Lyon DEEP - 2016)

Version 1- Document de traǀail - mars 2018- 2 GRAIE -GT Autosurǀeillance - Sous-groupe ModĠlisation

Ce document ǀient prĠciser lΖune des Ġtapes dĠcrites dans la mĠthodologie dΖaide ă la conception et ă

lΖĠǀaluation dΖun modğle pour lΖautosurǀeillance des rĠseaudž etͬou systğmes dΖassainissement (ref). Il

se focalise sur la phase ͨ analyse de la performance ͩ d'un modğle (cf. tape 4 et 5). Nous dĠjă ĠtĠ considĠrĠs dans le projet amont lors de la conception du modğle.

Figure 2͗ SchĠma gĠnĠral d'une dĠmarche de modĠlisation, aǀec la phase d'edžploitation (les Ġtapes 4 et 5) ,

temps de l'autoĠǀaluation de leurs modğles par les maitres d'ouǀrages (ref) Trois types d'indicateurs seront enǀisagĠs ͗ des indicateurs gĠnĠraudž (Biais, RMSE, MSE),

des indicateurs normalisĠs (c'est-ă-dire calculĠs et jugĠs par rapport ă une ǀaleur de rĠfĠrence)

(Nash-Sutcliffe, RSR, RVE), des y simulĠs).

Ces trois types d'indicateurs sont dĠcrits puis illustrĠs grące ă des applications sur des cas rĠels.

Version 1- Document de traǀail - mars 2018- 3 GRAIE -GT Autosurǀeillance - Sous-groupe ModĠlisation

A- LES INDICATEURS

1. Indicateurs gĠnĠraudž (Bennett et al., 2013)

celle de sa fiabilitĠ, de sa pertinence. Pour Ġǀaluer les performances dΖun modğle, il est possible de

faire appel ă des indicateurs de performance1.

partir de la ressemblance des dĠbits obserǀĠs (mesurĠs) et dĠbits simulĠs par le modğle, obtenus ă

partir d'une entrĠe connue (par edžemple la pluie mesurĠe). Comme mentionnĠ prĠcĠdemment,

ou utilisĠes, cΖest-ă-dire des donnĠes mesurĠes (pluie etͬou dĠbit) sur une pĠriode en dehors de celle

utilisĠe dans la phase de calage. Le schĠma ci-dessous illustre la comparaison entre les simulations

obtenues ă partir d'un modğle et les donnĠes mesurĠes (

Figure 3).

͗ ǀaleurs obserǀĠes ͗ ǀaleurs simulĠes

Figure 3: Comparaison au cours du temps entre valeurs observées et simulées par un modèle mathématique

Les ǀaleurs y peuǀent ġtre les ǀolumes dĠǀersĠs par ĠǀĠnement (en m3), le dĠbit en un point du rĠseau

(en Lͬs), ou encore le nombre de dĠǀersements annuel (sans dimension), etc.

Une premiğre diffĠrence Ġǀidente est la nature continue des simulations du modğle (ligne) par

rapport ă la nature discrğte de donnĠes mesurĠes (points).

de mesure et des besoins. Cela peut ǀarier d'une minute ă des heures (par edžemple un hydrographe),

1REMARYUES ͗ les fonctions objectifs et les indicateurs de performance ne sont pas la mġme chose.

y Temps

Version 1- Document de traǀail - mars 2018- 4 GRAIE -GT Autosurǀeillance - Sous-groupe ModĠlisation

et de la mesure, un pas de temps commun doit ġtre choisit pour pouǀoir comparer les ǀaleurs

edžiste une ǀaleur mesurĠe. a) Le biais - Ecart entre obserǀations et mesures -Critğre de fidĠlitĠ ࣕi se rapproche le plus possible de zĠro, c'est ă dire un modğle sans biais.

Le biais peut ġtre calculĠ comme suit ͗

Aǀec ͗ -biais (dimension de y),

-n, le nombre dΖobserǀations (sans dimension), -yobs i, la i-ğme ǀaleur obserǀĠe de y (dimension de y), -ysim i, la i-ğme ǀaleur simulĠe de y (dimension de y),

Cet indicateur nous dĠcrit la fidĠlitĠ du modğle ͗ c'est-ă-dire si notre modğle surestime ou sous-

obserǀations et mesures - Critğre edžactitude positifs.

Le calcul est le suiǀant ͗

Aǀec ͗

-n, le nombre dΖobserǀations (sans dimension),

La racine carrĠe utilisĠe dans le calcul du RMSE a pour objectif de reǀenir ă une unitĠ de ǀaleur

Version 1- Document de traǀail - mars 2018- 5 GRAIE -GT Autosurǀeillance - Sous-groupe ModĠlisation

Cette dĠclinaison du RMSE, edžprimĠ en unitĠ de la ǀariable y au carrĠ (par edžemple L2ͬs2), est Ġgalement

trğs utile pour des edžplications complĠmentaires de lΖedžactitude du modğle.

Les ǀaleurs du RMSE et MSE sont toujours positiǀes donc comprises dans lΖinterǀalle ΀0;нь΀.

La ǀariance du terme ߳

ͨ justesse ͩ de la modĠlisation.

On peut calculer la justesse ߪ

de lΖedžactitude du modğle, prennent en compte ă la fois le biais (fidĠlitĠ) et sa ǀariance (justesse).

Ainsi, un modğle jugĠ fidğle au traǀers du biais (proche de zĠro) peut ġtre trğs inedžact (ǀaleurs de RMSE

et le MSE ĠleǀĠes) du fait de la ǀariabilitĠ des Ġcarts ou de la justesse (ǀaleurs de ߪ

Plus la ǀaleur des critğres RMSE ou MSE est proche de zĠro, meilleur est le modğle ĠǀaluĠ en

terme d'edžactitude. NĠanmoins, ces indicateurs ne donnent pas d'information sur la contribution de

modğle) est complĠmentaire au RMSE et au MSE.

Les edžemples suiǀant montrent diffĠrents scenarios pour illustrer les concepts dĠcrits prĠcĠdemment

aǀec y Ġgal au dĠbit de sortie Y dans un bassin ǀersant (en Lͬs) (Figure 4) ͗ a) mauǀais RMSE (edžactitude)ͬ biais faible (fidĠlitĠ) b) mauǀais RMSE (edžactitude)ͬ biais ĠleǀĠ (fidĠlitĠ)

Y(Lͬs)

Temps (min)

Y (Lͬs)

Temps (min)

Version 1- Document de traǀail - mars 2018- 6 GRAIE -GT Autosurǀeillance - Sous-groupe ModĠlisation

c) bon RMSE (edžactitude)ͬ biais faible (fidĠlitĠ)

Figure 4͗ Scenariosfaible (fidĠlitĠ),

b) mauǀais RMSE (edžactitude)ͬ biaisĠ (fidĠlitĠ), c) bon RMSE (edžactitude)ͬ biais faible (fidĠlitĠ).

compensent) mais le RMSE peut ġtre ĠleǀĠ (mauǀaise edžactitude).

ĠleǀĠ (positif ou nĠgatif) et donc le RMSE aussi. Dans ce cas la ǀariance peut nous aider ă juger de la

justesse du modğle. les pics de l'hydrographe.

2. Indicateurs normalisĠs (aǀec un point de rĠfĠrence) (Bennett et al., 2013)

rĠfĠrence semble intĠressante.

Ainsi dans les indicateurs normalisĠs, une ǀaleur de performance de rĠfĠrence ou une performance

notamment de comparer des modğles entre eudž. Dans la suite du document, nous allons prĠsenter des

N.B. ͗ Pour les cas du MSE (ou RMSE), cette ǀaleur de performance de rĠfĠrence est dĠfinie comme la

ǀariance (ou l'Ġcart type) de ǀaleurs mesurĠes de y, par edžemple ߪ ou l'on simule la sortie y comme la moyenne des obserǀations ܺ a) Critğre de Nash-Sutcliffe

Le critğre de Nash-Sutcliffe est un indicateur de performance construit ă partir de la normalisation du

MSE, dont les ǀaleurs sont comprises dans l'interǀalle ΁-ь;1΁.

Il permet dΖestimer la capacitĠ dΖun modğle ă reproduire un comportement obserǀĠ.

Il se calcule comme suit ͗

Y (Lͬs)

Temps (min)

Version 1- Document de traǀail - mars 2018- 7 GRAIE -GT Autosurǀeillance - Sous-groupe ModĠlisation

Aǀec ͗ -NS, le critğre de Nash-Sutcliffe (sans dimension), -n, le nombre dΖobserǀations (sans dimension), -yobs i, la i-ğme ǀaleur obserǀĠe de la grandeur y (dimensions de y), -ysim i, la i-ğme ǀaleur simulĠe de la grandeur y (dimensions de y),

Il est par edžemple possible de ǀiser des ǀaleurs plus ĠleǀĠes (0,7 - 0,8) pour la modĠlisation pluie-dĠbit

dΖun modğle plus mauǀais encore.

Une autre interprĠtation du Nash-Sutcliffe est ͗ combien de pourcentage de la ǀariance de la sortie (ߪ

reproduit inedžactement le comportement obserǀĠ, il est donc nĠcessaire de rechercher les causes. Un

b) Critğre RSR (RMSE standard deǀiation ratio)

Le RSR est un critğre similaire au Nash-Sutcliffe, nĠanmoins moins utilisĠ, basĠ sur la normalisation du

RMSE, au lieu du MSE.

Il peut s'edžprimer comme suit (Moriasi et al., 2007)͗ Aǀec ͗ -RSR, RMSE standard deǀiation ratio (sans dimension), -n, le nombre dΖobserǀations (sans dimension), -yobs i, la i-ğme ǀaleur obserǀĠe de la grandeur y (dimensions de y), -ysim i, la i-ğme ǀaleur simulĠe de la grandeur y (dimensions de y), audž ǀaleurs obserǀĠes.

de pics de l'hydrographe. Ce critğre est interprĠtable comme le pourcentage de l'Ġcart type ߪ

des ǀaleurs obserǀĠes (ߪ

Version 1- Document de traǀail - mars 2018- 8 GRAIE -GT Autosurǀeillance - Sous-groupe ModĠlisation

c) Critğre d'Erreur de Volume Relatif (RVE)

Toujours dans le cadre d'indicateurs de performance relatiǀe, on peut normaliser l'indicateur de biais

prĠsentĠ dans la section prĠcĠdente par une simulation aǀec ܺ La maniğre la plus courante d'Ġtablir cet indicateur normalisĠ, est le RVE .

LΖerreur de ǀolume relatif est la somme des erreurs liĠes ă la somme des ǀaleurs obserǀĠes,

edžprimĠes en ǀaleur relatiǀe ou en pourcentage. Pour celaon diǀise le biais par le ǀolume total de simulation comme suit ͗

Aǀec ͗ -RVE (sans dimensions),

-n, le nombre dΖobserǀations (sans dimension), -yobs i, la i-ğme ǀaleur obserǀĠe de y (dimension de y),

L'indicateur de RVE peut ġtre interprĠtĠ comme l'erreur sur le ǀolume modĠlisĠ par rapport au

ǀolume total obserǀĠ (en pourcentage, si on le souhaite).

De faĕon similaire au biais, une ǀaleur faible de RVE ne signifie pas une bonne performance, mais celui-

ci peut nous donner une idĠe de la nature des erreurs de modĠlisation (justesse ou fidĠlitĠ).

Si nous reprenons les edžemples de la Figure 4, le critğre de Nash-Sutcliffe (ou le RSR) pĠnalisera le cas

indiǀiduelles se compensent en moyenne.

3. Indicateurs de performances complĠmentaires

Les critğres ǀisuels restent trğs utilisĠs pour ǀĠrifier les conclusions enǀisagĠes ă partir des indicateurs

Ils sont des indicateurs intĠressants pour l'aide ă la dĠcision sur la performance du modğle.

a) Fonction des rĠsiduels chronologie des ǀaleurs ߳ Temps

Sous-estimation

Bandes de confiance (par edžemple ă 95 й)

Version 1- Document de traǀail - mars 2018- 9 GRAIE -GT Autosurǀeillance - Sous-groupe ModĠlisation

Figure 5͗ Fonction des rĠsiduels

Cette reprĠsentation permet d'analyser l'Ġǀolution temporelle de l'erreur de modĠlisation de

maniğre moins performante (par edžemple en dĠbut ou fin de l'hydrographe). fonction des y simulĠs comme suit (Figure 6 et Figure 7).

Surestimation

Version 1- Document de traǀail - mars 2018- 10 GRAIE -GT Autosurǀeillance - Sous-groupe ModĠlisation

Pour un modğle aǀec un critğre de Nash trğs proche ă 1

Cette reprĠsentation permet d'analyser s'il y a une tendance ă mieudž reprĠsenter les obserǀations en

fonction de la taille de y (par edžemple le modğle reprĠsente moins bien les dĠbits forts).

les reprĠsentations proposĠes dans les Figure 5 et Figure 6. L'estimation de tendance dans les erreurs au

donnĠe (points en dehors des bandes de confiance ă. 95 й par edžemple) (Figure 5 et Figure 6).

Couramment, ces bandes de confiance sont calculĠes comme േ 2ΎRMSE, en faisant l'hypothğse des

constante et Ġgale ă RMSE. reprĠsentation de l'erreur choisie entre la Figure 5 ou Figure 6 (ǀoir MĠtadier, 2011). ysim yobs Bandes de confiance (par edžemple ă 95 й) ysim yobs

Nash proche de 1

Version 1- Document de traǀail - mars 2018- 11 GRAIE -GT Autosurǀeillance - Sous-groupe ModĠlisation

B- APPLICATION CONCRTE

4. ǀaluation de deudž modğles ͗ estimation de ǀolumes de dĠǀersement et

estimation de dĠbit ă la sortie d'un bassin ǀersant

Cette partie montre l'application sur des donnĠes rĠelles et souligne lΖimportance dΖutiliser plusieurs

critğres citĠs prĠcĠdemment afin de tirer les bonnes conclusions sur l'edžactitude de notre modğle et

a) Edžemples d'auto-Ġǀaluation de modğles d'estimation de ǀolumes de dĠǀersement

bien reprĠsenter les ǀolumes instantanĠs dĠǀersĠs au cours d'un Ġǀğnement pluǀieudž par les dĠǀersoirs

dΖorage. Le Tableau 1 et 2 recensent les rĠsultats pour la premiğre et deudžiğme ǀille, respectiǀement.

Tableau 1͗ ǀaluation dΖun modğle de ǀolume dĠǀersĠ pour plusieurs dĠǀersoirs de la ǀille 1 ă lΖaide de plusieurs indicateurs.

Calcul pour un Ġǀğnement pluǀieudž.

DO101 DO22 DO91 DO107 DO104

Volume total mesuré (m3) 1548 24611 214104 60634 14455 Volume total modèle (m3) 42 24827 175086 47730 10485

Biais (m3) 1506 -216 39017 12905 3970

RMSE (m3) 166 628 4433 2686 1345

MSE ((m3)2) 27392 394786 19651176 7214558 1809073

RSR 1,01 0,68 0,50 0,09 0,69

Nash-Sutcliffe -0,01 0,54 0,75 0,99 0,52

RVE 97й - 1% 18% 21% 27%

Biais relatif en % ( |Biais|/vol.mesuré) 97й 1% 18% 21% 27%

Tableau 2͗ ǀaluation dΖun modğle de ǀolume dĠǀersĠ pour plusieurs dĠǀersoirs de la ǀille 2 ă lΖaide de plusieurs indicateurs.

Calcul pour un Ġǀğnement pluǀieudž.

DO1 DO2 DO34 DO9 DO15

Volume mesuré (m3) 257185 96365 357605 12114 59519 Volume modèle (m3) 287975 93406 505009 14664 88894

Biais (m3) -30790 2958 -147404 -2551 -29375

RMSE (m3) 755 530 3759 177 3056

MSE ((m3)2) 569353 281126 14129495 31239 9341701

RSR 0,22 0,24 0,50 0,09 0,69

Nash-Sutcliffe 0,95 0,94 0,75 0,99 0,52

RVE -12% 3% -41% -21% -49%

Biais relatif en % (|Biais|/vol.mesuré) 12% 3% 41% 21% 49%

LĠgendes

Critère satisfaisant

Critère Moyen

Critère Insuffisant

COMMENTAIRES

Si l'on regarde les critğres Biais, MSE et RMSE, on ǀisualise la compledžitĠ de conclure juste ă partir de

edžemple), on peut ǀalider de maniğre prĠliminaire le modğle pour tous les dĠǀersoirs sauf le D0101 de

la ǀille 1 et le DO34 et le DO15 de la ǀille 2 .

Version 1- Document de traǀail - mars 2018- 12 GRAIE -GT Autosurǀeillance - Sous-groupe ModĠlisation

ă traǀers du RVE), les modğles ne sont a priori pas mauǀais, sauf pour les 3 dĠǀersoirs citĠs ci-aǀant.

quotesdbs_dbs35.pdfusesText_40

[PDF] plus l'écart type est grand

[PDF] open office calc formule pourcentage

[PDF] ecart type libreoffice calc

[PDF] formules libreoffice calc

[PDF] calc fonction si plusieurs conditions

[PDF] fonction classeur open office

[PDF] open office calcul automatique

[PDF] calculer variance probabilité

[PDF] esperance et ecart type proba

[PDF] l'homme de flores un mystère

[PDF] transformée de fourier audacity

[PDF] analyse spectrale d'un son audacity

[PDF] audacity spectre en fréquence

[PDF] ece reconnaitre des sons corrigé

[PDF] tp analyse spectrale d'un son ts