[PDF] Probabilités Exercices d'application corrigés





Previous PDF Next PDF



Cours et exercices corrigés en probabilités

Le deuxième chapitre est consacré aux variables aléatoires discrètes après la définition de cette notion



IUT GB - Fiche de TD – Variables aléatoires discrètes Exercice 1. On

Donner son espérance sa variance et son écart type. 2. Calculer la probabilité : ?(3 ? ? 7). Corrigé. Exercice 



Variables aléatoires discrètes

Exercice 2. On prend au hasard en même temps



Probabilités

Exercices d'application corrigés 2.5 Outils analytiques en probabilités . ... Définition 3.8 Soient X et T deux variables aléatoires discrètes de ...



Exercices et problèmes de statistique et probabilités

1.6 Indépendance de deux variables aléatoires X et Y .. Corrigés des exercices . ... de la fonction génératrice pour une variable aléatoire discrète.



Exercices corrigés

Le lecteur trouvera ici les énoncés et corrigés des exercices proposés dans. "Probabilités pour Soit X une variable aléatoire discrète à valeurs dans N.



Exercices de Probabilités

Exercice 1. Donner les lois de probabilité des variables aléatoires X et Y . ... Exercice 2 (Couple de variables aléatoires discrètes). 1. Soit X et Y.



Cogmaster Probabilités discrètes Feuille de TD no3 : Indépendance

Indépendance d'événements variables aléatoires



variables-aléatoires-discrètes.pdf

Soit X une variable aléatoire suivant une loi de Poisson de paramètre ? > 0. Déterminer la probabilité que la valeur de X soit pair. Exercice 22 [ 04115 ] [ 



Chapitre 5 : Variables aléatoires discrètes

a) Déterminer la fonction de probabilité. b) Représenter son histogramme. c) Calculer P(X ? 3). Exercice 5.2 :.

ISBN 978-2-311-40014-4

WWW.VUIBERT.FR

Probabilités et introduction à la statistique

Cours & exercices corrigés9 782311 400144

LICENCE 3, ÉCOLES D'INGÉNIEURS

CAPES & AGRÉGATION MATHÉMATIQUESValérie Girardin & Nikolaos Limnios

Probabilités

et introduction à la statistique

ProbabilitésLICENCE3

ÉCOLES D'INGÉNIEURS

CAPES & AGRÉGATION

MATHÉMATIQUES

Valérie Girardin

Nikolaos Limnios

Cours complet

Exercices d'application corrigés

Problèmes de synthèse

et introduction à la statistique Rédigé principalement à l'attention des étudiants en 3e année de Licence de mathématiques et en écoles d'ingénieurs, cet ouvrage présente l'ensemble du programme de probabilités avec un cours complet,de nombreux exercices corrigésainsi que desproblèmes de synthèse. D'une lecture aisée, ce manuel aborde, de manière rigoureuse, les fondements théoriques des probabilités et de leurs applications. Son contenu servira également de base de révision aux concours du CAPES (dans le cadre du Master MEEF) et de l'Agrégation de mathématiques.

Agrégée de mathématiques, Valérie Girardin est maître de conférences à l'Université de Caen Basse-

Normandie, Laboratoire de Mathématiques Nicolas Oresme, et habilitée à diriger les recherches.

Nikolaos Limnios est professeur à l'Université de Technologie de Compiègne (UTC), Laboratoire de

Mathématiques Appliquées.Sommaire

Notations

1. Événements et probabilités

2. Variables aléatoires

3. Vecteurs aléatoires

4. Suites aléatoires5. Statistique

Problèmes à résoudre

À la fin de chaque chapitre, on trouvera

des exercices suivis de leurs corrigés CV_ProbabiliteEtIntroStat1:EP 16/12/13 17:47 Page 1 "bqL" - 2013/12/12 - 10:57 - page 228 - #238 "bqL" - 2013/12/12 - 10:57 - page III - #1Table des matières A vant-proposV

NotationsVII

1 Événements et probabilités1

1.1 Espace fondamental . . . . . . . . . . . . . . . . . . . . . . . 1

1.2 Espaces mesurés . . . . . . . . . . . . . . . . . . . . . . . . . 3

1.3 Espaces de probabilité . . . . . . . . . . . . . . . . . . . . . . 8

1.4 Indépendance de familles finies . . . . . . . . . . . . . . . . . 18

1.5 Exercices et compléments . . . . . . . . . . . . . . . . . . . . 20

2 Variables aléatoires27

2.1 Variables aléatoires . . . . . . . . . . . . . . . . . . . . . . . . 27

2.2 Espérance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

2.3 Variables aléatoires discrètes . . . . . . . . . . . . . . . . . . . 42

2.4 Variables aléatoires continues . . . . . . . . . . . . . . . . . . 49

2.5 Outils analytiques en probabilités . . . . . . . . . . . . . . . . 61

2.6 Fiabilité et fonction de survie . . . . . . . . . . . . . . . . . . 70

2.7 Exercices et compléments . . . . . . . . . . . . . . . . . . . . 71

3 Vecteurs aléatoires83

3.1 Relations entre variables aléatoires . . . . . . . . . . . . . . . 83

3.2 Caractéristiques des vecteurs aléatoires . . . . . . . . . . . . . 92

3.3 Fonctions de vecteurs aléatoires . . . . . . . . . . . . . . . . . 101

3.4 Vecteurs gaussiens . . . . . . . . . . . . . . . . . . . . . . . . 113

3.5 Exercices et compléments . . . . . . . . . . . . . . . . . . . . 118

4 Suites aléatoires131

4.1 Suites infinies . . . . . . . . . . . . . . . . . . . . . . . . . . . 131

4.2 Convergence de suites aléatoires . . . . . . . . . . . . . . . . . 137

4.3 Théorèmes limites . . . . . . . . . . . . . . . . . . . . . . . . 148

4.4 Méthodes de simulation stochastique . . . . . . . . . . . . . . 156

4.5 Exercices et compléments . . . . . . . . . . . . . . . . . . . . 161

"bqL" - 2013/12/12 - 10:57 - page IV - #2

IVTable des matières

5 Statistique169

5.1 Statistique non paramétrique . . . . . . . . . . . . . . . . . . 170

5.2 Statistique paramétrique . . . . . . . . . . . . . . . . . . . . . 181

5.3 Modèle linéaire . . . . . . . . . . . . . . . . . . . . . . . . . . 192

5.4 Exercices et compléments . . . . . . . . . . . . . . . . . . . . 197

Problèmes à résoudre211

Bibliographie219

Index221

Table des figures227

"bqL" - 2013/12/12 - 10:57 - page 83 - #93CHAPITRE 3 V ecteurs aléatoires Nous avons considéré dans le chapitre précédent des variables aléatoires réelles, c"est-à-dire des applications mesurables à valeurs dansR. Nous pré- sentons dans ce chapitre l"étude simultanée de plusieurs variables aléatoires réelles, c"est-à-dire celle des vecteurs aléatoires réels.

Soit (Ω

∅F∅ P) un espace de probabilité. Toute fonction borélienne X= (X1∅:::∅Xd)?: (Ω∅F∅P)ω(Rd∅B(Rd)) est appeléed-vecteur aléatoire réel sid >1. Les variables aléatoires réelles correspondent au casd= 1. Il est facile de voir queXest un vecteur aléatoire si et seulement si toutes les applications coordonnées,Xj∅pour|= 1∅:::∅d∅sont des variables aléa- toires. ÉtudierXrevient à étudier simultanément lesdphénomènes ou va-

riables (X1∅:::∅Xd) liés à une même expérience aléatoire. Lorsqu"il n"y a pas

d"ambiguïté, nous noterons indifféremment (X1∅:::∅Xd) ou (X1∅:::∅Xd)?. Ex?m?l? ?.)Mesure simultanée de caractéristiques physiques comme le poids, la taille, etc., au sein d"une population.C Les vecteurs aléatoires réels ont beaucoup de propriétés similaires à celles des variables aléatoires réelles. Nous leur étendons les notions vues dans le chapitre 2. Nous y ajoutons celles liées aux relations des variables entre elles comme la covariance, l"indépendance, l"entropie, les statistiques d"ordre... Nous insistons sur le calcul effectif de la loi de fonctions de plusieurs variables aléatoires et sur le cas des vecteurs gaussiens.

3.1 Relations entre variables aléatoires

Nous commençons par des relations entre variables aléatoires, nécessaires à l"étude des vecteurs et intéressantes en elles-mêmes dans les applications. "bqL" - 2013/12/12 - 10:57 - page 84 - #94

84Chapitre 3. Vecteurs aléatoires

3.1.1Covariance

La définition de la variance pour les vecteurs nécessite celle de la covariance de variables aléatoires. Dé?\?t?o\ 3.?SoientXetYdeux variables aléatoires réelles de carré intégrable. Leur covariance est définie par

Cov(X,Y) =E[(XEX)(YEY)] =E(XY)(EX)(EY).

Leur coefficient de corrélation (linéaire) est défini par

X;Y=Cov(X,Y)pVa

r XpVar Y. 4 Deux variables dont la covariance est nulle sont dites non-corrélées. L"espé- rance de leur produit est clairement égal au produit de leurs espérances. HPro⎷r?étés de ?a covar?a\ce et du coec?e\t de corré?at?o\

1.Cov(X,X) =VarXetCov(X,Y) =Cov(Y,X).

2.Cov(aX+bY,Z) =aCov(X,Z)+bCov(Y,Z), pour (a,b)2R2. Ainsi,

jX;Yj=jaX+b;cY+dj,pour tousa2R, c2R, b2R, d2R,et le coefficient de corrélation est indépendant de l"unité et de l"origine.

3.Cov(X,Y)2VarXVarY, par l"inégalité de Cauchy-Schwarz et

doncX;Y2[1,1].N Le coefficient de corrélation de deux variables mesure leur degré de li- néarité. Pro⎷os?t?o\ 3.3SiXetYsont deux variables aléatoires réelles de carré intégrable, jX;Yj= 1 si et seulement siY=aX+b, avec (a,b)2RR. Démo\strat?o\.-Nous pouvons supposer queEX= 0. SiY=aX+b, alorsEY=betCov(X,Y) =aE(X2) =aVarX,et doncjX;Yj= 1. Réciproquement, nous pouvons supposer aussi queEY= 0. AinsijX;Yj= 1 implique [E(XY)]2=E(X2)E(Y2). Par conséquent, Varh

YE(XY)E(X2)Xi

=Var(Y)a2Var(X) = 0, c"est-à-dire que cette variable est constante p.s., d"où le résultat, avec pré- cisémenta=Cov(X,Y)/VarX.? Pour plus de détails, voir le paragraphe dédié à la droite de régression dans le chapitre 5. "bqL" - 2013/12/12 - 10:57 - page 85 - #95

3.1 Relations entre variables aléatoires85

3.1.2Indépendance

L"indépendance de tribus et d"événements a été présentée dans le chapitre 1. La notion d"indépendance de variables aléatoires repose sur celle d"indépen- dance des tribus qu"elles engendrent. Dé?\?t?o\ 3.?SoientXi: (Ω,F,P)!(Ωi,Fi), pouri= 1,...,d, des variables aléatoires. Elles sont dites indépendantes si les tribus engendréesσ(X)),...,σ(Xd) sont indépendantes, soit

P(X)2B),...,Xd2Bd) =dY

i=)P(Xi2Bi), pour tousB)2 F),...,Bd2 Fd.4 SiX),...,Xdsont indépendantes alorsg)(X)),...,gd(Xd) sont aussi indé- pendantes, pour toutes fonctions boréliennesg),...,gd. Des événements deFsont indépendants si et seulement si leurs fonc- tions indicatrices sont des variables aléatoires indépendantes. Etdsous- tribusF),...,FddeFsont indépendantes si et seulement si lesdvariables aléatoires coordonnéesci: (Ω,F,P)!(Ωi,Fi) le sont. Siσ(X),...,Xd) et une sous-tribuGdeFsont indépendantes, nous dirons queX),...,XdetGsont indépendantes. SiX),...,Xdsont indépen- dantes et de même loiP, nous dirons qu"elles sont i.i.d. (indépendantes et identiquement distribuées) de loiP. Des variables aléatoires sont dites indépendantes conditionnellement à un événementB(non négligeable) si elles sont indépendantes pour la pro- babilitéP( jB). Dans le cas discret, l"indépendance de deux variablesXetYde valeurs respectivesfxi:i2Igetfyj:j2Jgs"écrit

P(X=xi,Y=yj) =P(X=xi)P(Y=yj), i2I,j2J.

Exem⎷?e 3.5Deux personnes ont rendez-vous. Chacune arrive au hasard entre minuit et une heure du matin. Calculons la probabilité que la première arrivée attende l"autre au moins 1/4 d"heure. SoientXetYles instants d"arrivées des deux personnes. On calcule

P(X+ 15< Y) +P(Y+ 15< X) =

= 2P(X < Y15) = 2Z 6( )?Z y)? (1(60) ?dxdy 2(60) ?Z 6( (y15)dy=(45)?(60) ?=9/16, puisqueXetYsont i.i.d. de loi uniforme sur [0,60].C "bqL" - 2013/12/12 - 10:57 - page 86 - #96

86Chapitre 3. Vecteurs aléatoires

Nous allons voir différents critères d"indépendance. Pour commencer, la notion de corrélation est liée à celle de dépendance. Proposition 3.6Des variables aléatoires indépendantes et de carré inté- grable sont non corrélées. Démonstration.-Pour des variables discrètes.

PosonsX=P

i2Ixi11AioùAi= (X=xi) etY=P j2Jyj11BjoùBj= (Y=yj). Nous avons donc XY=X (i,j)2IΘJx iyj11Ai11Bj=X (i,j)2IΘJx iyj11Ai\Bj. Comme l"espérance deXet celle deYsont finies, nous avons

E(XY) =X

(i,j)2IΘJx iyj?(Ai\Bj)(∞)=X i2IX j2Jx iyj?(Ai)?(Bj) ?X i2Ix i?(Ai)??X j2Jy j?(Bj)? = (EX)(EY). (1) par indépendance deXetY. Par contre, deux variables non corrélées ne sont pas nécessairement in- dépendantes, comme le montre le contre-exemple suivant. Exemple 3.7SoitY U(0,1). Par l"exemple 2.57, on connaît les moments deY. SiX=Y(Y+a) oùa2?, on a )ov(X,Y) =E(Y3) +aE(Y?)(EY)E(Y?)a(EY)? 14 +a3 16 a4 =1+a12 S ia=1, ces variables sont non corrélées et elles ne sont évidemment pas indépendantes puisqueX=Y(Y1) est une fonction deY, mesurable pour la tribu engendrée parY.C Nous pouvons définir maintenant la loi conditionnelle pour des variables discrètes. Définition 3.8SoientXetTdeux variables aléatoires discrètes de valeurs respectivesfxi:i2Igetftj:j2Jg. La loi conditionnelle de X sachant (T=tj) est donnée parf?(X=xijT=tj) :i2Ig.4 Exemple 3.9Suite de l'exemple 1.28.- SoientXetTles fonctions indi- catrices respectives des événementsAetB. Elles suivent chacune une loi de Bernoulli de paramètre 1/2. La loi conditionnelle deXsachantTest donnée par ?(X=ijT=j) =?(X=i,T=j)?(T=j),i,j= 0,1. "bqL" - 2013/12/12 - 10:57 - page 87 - #97

3.1 Relations entre variables aléatoires87

Par exemple, (X= 0;T= 0) ="le résultat est impair et supérieur à 3"="le résultat est 5" doncP(X= 0|T= 0) =P(B|A) = 1 =3:De même, on calculeP(X= 1|T= 1) = 1=3 etP(X= 1|T= 0) =P(X= 0|T= 1) = 2=3.C Pour des variables discrètes, on peut faire ici directement le lien entre indépendance et loi conditionnelle à partir de leur définition. Proposition 3.10Deux variables aléatoiresXetYdiscrètes de valeurs respectives{xi:i?I}et{yj:j?J}sont indépendantes si et seulement si la loi conditionnelle deXsachant (Y=yj) est égale à la loi deXpour toutj. La proposition peut être énoncée symétriquement en considérant les lois conditionnelles deY. L"indépendance dépendant étroitement de la probabilité choisie, elle n"implique aucune indépendance conditionnelle en général, comme le mon- tre le contre-exemple suivant. Exemple 3.11SoientX∞etX?i.i.d. de loiB(1=2) à valeurs dans{-1;1}. On a P(X∞= 1|X∞+X?= 0) =P(X∞= 1;X∞+X?= 0)P(X∞+X?=0) P(X∞= 1)P(X?=-1)P(X∞+X?=0)=1=2:1=21=2=12 D e même, par symétrie,P(X?= 1|X∞+X?= 0) = 1=2, maisP(X∞=

1;X?= 1|X∞+X?= 0) = 0, doncX∞etX?ne sont pas indépendantes

conditionnellement àX∞+X?.

Notons queP(X∞=-1|X∞+X?=-2) = 1.C

?.).?Relation d'ordre stochastique Les relations d"ordre stochastiques sont en particulier utilisées pour étudier la fiabilité ou la durée de vie de systèmes. Nous ne définirons ici que la plus simple d"entre elles. Dénition 3.12SoientXetYdeux variables aléatoires réelles. La variable Xest dite stochastiquement plus grande que la variableY, et nous noterons X st≥Y, si

P(X > x)≥P(Y > x); x?R:(3.1)

Autrement dit,Xst≥Ysi la fiabilité deXest supérieure à celle deY, ou encoreRX(t)≥RY(t), pour toutt?R, voir la définition 2.87 page 70. "bqL" - 2013/12/12 - 10:57 - page 88 - #98

88Chapitre 3. Vecteurs aléatoires

contre, siX≂ N(0,σ2) etY≂ N(0,τ2), avecσ≥τ, alorsXst≥Y.C Exemple 3.14Systèmes e\ série et e\ ⎷arallèle.-Considérons deux sys- tèmes comprenant deux composants, voir la figure 3.1.X 1X2X 1 X

2sérieparallèle

Figure?

. ).S ys?èm?sà d ??x? ?m??sa??s,? ?s é???? ?? ?? a?allèl?. SoientT1etT2les durées de vie des composants supposées indépen- dantes, de fonctions de répartitionF1etF2respectivement. Si les deux composants sont montés en série, la durée de vie du système estT= min(T1,T2), de fonction de répartitionFT(t) = 1-[1-F1(t)][1- F

2(t)].

Si les deux composants sont montés en parallèle, la durée de vie du sys- tème estT0= max(T1,T2), de fonction de répartitionFT0(t) =F1(t)F2(t). OrF1(t)+F2(t)-2F1(t)F2(t) =F1(t)[1-F2(t)]+F2(t)[1-F1(t)], dont on déduit queT0st≥T. Autrement dit, max(T1,T2)st≥min(T1,T2).C Proposition 3.15SoientXetYdeux variables aléatoires réelles. SiXst≥

YalorsEX≥EY.

Démonstration.-Supposons d"abord queXetYsont positives. Par inté- gration des deux membres de l"inégalité (3.1) et en utilisant l"expression al- ternative de l"espérance (2.7) page 76 pourp= 1, nous obtenonsEX≥EY. Pour des variables quelconques, siXst≥YalorsX+st≥Y+etYst≥X, Cette condition nécessaire peut être transformée en condition suffisante en considérant des espérances plus générales. Théorème 3.16SoientXetYdeux variables aléatoires réelles. On aXst≥ Ysi et seulement siE[h(X)]≥E[h(Y)] pour toute fonction borélienneh croissante. Démonstration.-Soith1l"inverse généralisée deh, définie parh1(y) = inf{t?R:h(t)> y}. Nous avons P[h(X)> x] =P[X > h1(x)]≥P[Y > h1(x)] =P[h(Y)> x], x?R, "bqL" - 2013/12/12 - 10:57 - page 89 - #99

3.1 Relations entre variables aléatoires89

donch(X)st≥h(Y);d"oùE[h(X)]≥E[h(Y)] en appliquant la proposi- tion 3.15. La réciproque est immédiate en utilisant la fonction croissante11[x,+∞[.? Par contre,Xst≥Yn"implique clairement pas queX(!)≥Y(!) pour tout

3.1.4Entropie

Nous avons déjà vu différents paramètres qui renseignent sur la loi d"une variable aléatoire ou sur les relations entre deux variables et qui ont une interprétation physique, comme l"espérance, la variance ou la covariance. L"entropie, l"entropie jointe et l"information de Kullback-Leibler que nous présentons maintenant renseignent sur le degré d"incertitude du phénomène représenté par la variable, globalement ou relativement à un autre. Dénition 3.17SoientXetYdes variables discrètes de valeurs respec- tives{xi:i?I}et{yj:j?J}. L"entropie (de Shannon) deXest l"entropie de sa loi, soit

S(X) =-X

i?IP(X=xi)logP(X=xi):

L"entropie (jointe) de (X;Y) est

S(X;Y) =-X

i?IX j?JP(X=xi;Y=yj)logP(X=xi;Y=yj):

L"entropie conditionnelle deXpar rapport àYest

S(X|Y) =S(X;Y)-S(Y):

Si{xi:i?I} ? {yj:j?J}, l"information de Kullback-Leibler deX par rapport àYest celle de leurs lois, soit

K(X|Y) =X

i?IP(X=xi)logP(X=xi)P(Y=xi): O n peut aussi écrire

S(X|Y) =-X

i?IX ou obtenirS(X|Y) comme une moyenne, sous la forme

S(X|Y) =X

j?JP(Y=yj)K(Pj|PY); "bqL" - 2013/12/12 - 10:57 - page 90 - #100

90Chapitre 3. Vecteurs aléatoires

oùPjest la loi conditionnelle deXsachant (Y=yj) etK(PjjPY) l"in- formation de Kullback-Leibler dePjpar rapport àPY. On voit ainsi que l"entropie conditionnelle entre deux variables discrètes est une quantité po- sitive. Exemple 3.18L"entropie d"une variable aléatoire de loiG(p) est X k≥)pq k-)log(pqk-)) =plogpXk≥)q k-)plogqXk≥)(k1)qk-) =logpqp logq; avecq= 1p.C

HPropriétés de l'entropie

1. L"entropie d"une variable qui prend un nombreNfini de valeurs est

maximale (et égale à logN) si celle-ci suit une loi uniforme, comme nous l"avons vu dans le chapitre 1.

2.S(XjY) = 0 si et seulement siX=g(Y). En considérant l"entro-

pie conditionnelle sous la forme (3.2), si elle est nulle, nécessairement P(X=xi;Y=yj) =P(Y=yj) pour tousietj, c"est-à-dire queX est une fonction deY. Et la réciproque est claire.

3.S(XjY)S(X), avec égalité si et seulement si les variables sont

indépendantes. En effet, on peut écrire

S(X) =X

i?IX j?JP(X=xi;Y=yj)logP(X=xi) X i?IX j?JP(X=xi;Y=yj)logP(X=xi)P(Y=yj)P(X=xi;

Y =yj)

donc, comme logxx1 pour tout réelx >0, on a S(X)X i?IX j?JP(X=xi;Y=yj)P(X=xi)P(Y=yj)P(X=xi;

Y =yj)1

= 0; et l"égalité est équivalente àP(X=xi;Y=yj) =P(X=xi)P(Y= y j), pour tousi2Ietj2J, c"est-à-dire à l"indépendance des va- riables.

4.S(X;Y)S(X) +S(Y), avec égalité si et seulement si les variables

sont indépendantes, d"après la définition et le point 3.N Les propriétés 2. et 3. s"interprètent comme suit : l"information apportée surXpar la connaissance deYdiminue l"incertitude surX. À la limite (si Xest fonction deY), cette incertitude devient nulle. "bqL" - 2013/12/12 - 10:57 - page 91 - #101

3.1 Relations entre variables aléatoires91

Exemple 3.19Interprétation en termes de communication.- Un système est constitué d"une source, d"un canal de transmission et d"un récepteur. Une partie de ce qui est produit par la source (le message) est modifié pendant la transmission au récepteur par la présence de bruit dans le canal de transmission. L"entropie est un moyen d"évaluation du taux de transmission de l"in- formation par le canal. Si la variableXreprésente la source et la variable Yle récepteur,S(X) est l"entropie de la source,S(Y) celle du récepteur et S(X∅Y) celle du système global. L"entropie conditionnelleS(YjX) repré- sente l"entropie du récepteur connaissant le message émis par la source, c"est une mesure du bruit. EnfinS(XjY) est celle de la source connaissant le message reçu. Elle mesure ce que l"on peut espérer apprendre du message transmis à partir du message reçu. Une mesure de la capacité de transmis- sion du canal est donnée parC= max[S(X)ΓS(XjY)], où le maximum est pris sur toutes les lois possibles pourXetY. En l"absence de bruit, on aP(X=xi∅Y=yj) = 0 si?6=|, donc S(XjY) =S(YjX) = 0 etS(X∅Y) =S(X) =S(Y):L"incertitude du récepteur est identique à celle de la source. La perte d"information par le canal de transmission est minimum etC= maxS(X) = logN. Par contre, lorsqu"il n"existe pas de corrélation entre le message transmis et le message reçu (c"est-à-dire si toutxipeut être transformé en unyj quelconque avec la même probabilité), alorsP(X=xi∅Y=yj) =⎷ipour tout|, avecP i?I⎷i= 1=N. On en déduit queS(XjY) =S(X) et que S(YjX) =S(Y):Le système ne transmet aucune information, la perte d"information par le canal de transmission est maximale etC= 0.C L"entropie de Shannon peut être étendue à des variables à densité. L"in- terprétation en termes d"information est plus difficile. Définition 3.20SoientXetYdes variables aléatoires réelles de densités respectives{Xet{Ystrictement positives.

L"entropie deXest celle de sa loi, soit

S(X) =E[Γlog{X(X)] =ΓZ

R

X(u)log{x(u)du:

L"information de Kullback-Leibler deXpar rapport àYest celle de leurs lois, soit

K(XjY) =Z

R

X(u)log{X(u){

Y(u)du:

4 Exemple 3.21L"entropie d"une variableXde loiE(≥) est Z R +≥e?xlog(≥e?x)dx= log≥Z R +≥e?xdxΓ≥Z R +x≥e?xdx= log≥+1∅ puisque R R +{X(x)dx= 1 et queEX= 1=≥.C "bqL" - 2013/12/12 - 10:57 - page 92 - #102

92Chapitre 3. Vecteurs aléatoires

Proposition 3.22L"information de Kullback-Leibler est positive, et elle est nulle si et seulement si les variables ont la même loi.

Démonstration.-CommeZ

R f

Y(u)du=Z

R f

X(u)du,nous pouvons écrire

K(X|Y) =Z

Rf X(u)f

Y(u)logfX(u)f

Y(u)λ

f

Y(u)du+Z

R

1-fX(u)f

Y(u)λ

f

Y(u)du.

Et la conclusion en découle puisquexlogx≥1-xavec égalité seulement six= 1.? L"entropieS(X) peut être négative ou infinie pour des variables à densité. La notion de maximum n"est donc pas envisageable directement; par contre,quotesdbs_dbs1.pdfusesText_1
[PDF] exercices corrigés produit vectoriel pdf

[PDF] exercices corrigés programmation linéaire méthode du simplexe

[PDF] exercices corrigés projectile champ pesanteur

[PDF] exercices corrigés radioactivité terminale s pdf

[PDF] exercices corrigés raisonnement par l'absurde

[PDF] exercices corrigés redressement non commandé pdf

[PDF] exercices corrigés retraitement bilan financier pdf

[PDF] exercices corrigés rmn carbone 13

[PDF] exercices corrigés rmn. pdf

[PDF] exercices corrigés sage comptabilité 100 pdf

[PDF] exercices corrigés sage saari comptabilité 100

[PDF] exercices corrigés series numeriques

[PDF] exercices corrigés solidworks pdf

[PDF] exercices corrigés spectre atomique

[PDF] exercices corrigés spectroscopie moléculaire